An open interval is an interval that does not include its end points. The open interval {x:a<x<b} is denoted (a,b), although the nonstandard notation ]a,b[ is sometimes also used.
Ele cita
Croft, H. T.; Falconer, K. J.; and Guy, R. K. Unsolved Problems in Geometry. New York: Springer-Verlag, p. 1, 1991.
Gemignani, M. C. Elementary Topology. New York: Dover, 1990.
Olhei meu Guidorizzi e meu Courant, o primeiro não menciona o (a,b), só ]a,b[; e o Courant só usa a notação { x:a<x<b\right}.
De fato, a notação (a,b) atrapalha um pouco por ser igual à de pares ordenados, mas o contexto em que cada caso aparece e completamente diferente. e ]a,b[ é MUITO feio.