Não sei. Na verdade há "dicotomias" implícitas, só que não apenas o cariótipo. Coisas como o gene determinador de formação de testículos, ou insensibilidade a testosterona, são outros fatores binários determinantes, apenas na vasta maior parte do tempo, correlacionados "apropriadamente" com os cariótipos e os sexos correspondentes (ou perto de inexistentes, no caso de insensibilidade à testosterona, acho).
Dizer que "não é binário" para mim é mais sugestivo algo como uma distribuição gaussiana, "em sino", com uma maioria de hermafroditas "50%", e raros extremos 100% macho ou fêmea. Ou mesmo algo bimodal, duas "corcovas" em 80% macho e 80% fêmea, com extremos de "100%", e um vale ainda "gordo" de hermofroditas em todas as porcentagens intermediárias... mas a realidade é mais próxima de "binária, com exceções".
Ao menos no que concerne especificamente o desenvolvimento genital/sexual.