Yo también he reflexionado sobre esta pregunta.
Encontré una definición interesante en el libro 'Existence and Optimality of Competitive Equilibria' de Charalambos D. Aliprantis, Donald J. Brown, Owen (ver página 9). La cito aquí:
"Matemáticamente, una curva 'convexa hacia el origen' se describe diciendo que si $A$ y $B$ son dos puntos en la curva, entonces un rayo que pase por el origen $O$ y cualquier punto $X$ en el segmento de línea $AB$ encontrará la curva como mucho en un punto $D$ entre $O$ y $X$". EDITAR - esto debería decir 'exactamente un punto $D$ entre $0$ y $X$ en lugar de como mucho uno; el autor parece haber cometido un error.
Bajo esta definición, una curva en forma de la mitad izquierda de una parábola en forma de U, pero que nunca alcanza un punto en el que su derivada sea 0, es el tipo de curva de indiferencia convexa al origen que soñamos como economistas. Si permitiéramos que la pendiente de la curva de indiferencia fuera positiva después de algún punto entonces sería posible encontrar dibujar una línea desde el origen que cruce dos puntos de la curva, en cuyo caso la curva no sería convexa al origen.
Cuando una función de utilidad es una función de dos variables x e y, una curva de indiferencia es convexa al origen si la derivada de las curvas de indiferencia siempre es negativa y las segundas derivadas son positivas. Es decir, las curvas de indiferencia bajan siempre pero la pendiente de la pendiente aumenta (de un valor negativo a un valor menos negativo) a medida que nos desplazamos hacia la derecha. Es decir, la tasa marginal de sustitución (el negativo de la pendiente de la curva de indiferencia o equivalente, la magnitud de la pendiente de la curva de indiferencia) disminuye a medida que nos movemos hacia la derecha a lo largo de una curva de indiferencia.
Saludos,
Dutchman
Editar en respuesta al comentario de Giskard:
Giskard tiene razón, la definición tendría que ser modificada a exactamente uno.