Segundo o livro é físico - a diferença está no olho. A mulher desenvolveu uma melhor visão periférica, chegando a 180º - enquanto o homem desenvolveu uma melhor visão focada e à longa distância - herança dos milhares de anos como caçadores-coletores.
Mas qual é a diferença? Tem a explicação propriamente ótica, da lente dos olhos femininos que seria diferente, ou da enervação, a mácula da retina que seria maior, ou é apenas essa especulação evolutiva?
Já não estou certa, faz tempo que li, mas acho que tem explicação sobre a "estrutura" dos olhos sim. 
Eu não li o livro, mas a resposta possivelmente é que os homens levam vantagem reprodutiva em não terem tanta ligação emocional com uma parceira, o que levaria a espalhar seus genes com várias parceiras em maior quantidade, enquanto que a mulher tem uma aptidão (potencial para ter filhos) menor e para maximizá-la leva vantagem reprodutiva em ter um vínculo afetivo mais forte com o parceiro, que pode retribuir, ou ao menos se sentir psiclógica ou moralmente obrigado a tal, formando um par mais estável e fonte adicional de investimentos parentais que a mulher não poderia dar por si própria, e que pareceiros esporádicos, não-geneticamente relacionados aos filhos dela, também não se interessariam em dar.
Bom, pelo que me lembro da idéia geral - como as mulheres viviam em grandes grupos, cuidando da prole, coletando frutos e tal elas desenvolveram mais essa aproximação social e emocional - enquanto os homens caçavam em pequenos grupos e podiam passar muito tempo ausente desse convívio coletivo.
Há um treho interessante que fala sobre o "sexto sentido" feminino - que seria na verdade um desenvolvimento da capacidade de percepção como um todo - atenta ao que ocorria a sua volta e responsável pela harmonia do grupo, ela precisava saber disntinguir melhor os cheiros, reconhecer nas expressões sinais de dor, prazer, fome, problemas, e ao mesmo tempo como coletora uma maior capacidade de diferenciar tons de cores e de sabores e também uma visão perifêrica que lhe permite perceber o movimento à sua volta, ter os ouvidos sempre atentos ao perigo e tal.
Ou seja, o livro defende que a mulher de forma geral, tem melhor tato, olfato, paladar e audição que o homem, porque precisa ter esss sentidos mais desenvolvidos para suas tarefas - e uma melhor visão periférica, enquanto o homem tem melhor visão direcionada e a longa distância e espacial, uma pele mais grossa e resistente, músculos mais desenvolvidos e tal. Suas diferentes habilidades, seriam relativas as suas necessidades indivuduais de caçadores-coletores.
Bom, mas eu não possuo conhecimentos sobre o assunto e acho que seria mesmo interessante que quem os possui a respeito das áreas que o livro trata, se puderem claro, o lessem para tratar melhor o assunto.
Eu acho que os dimorfismos físicos entre homem e mulher não tem necessariamente qualquer função adaptativa, podendo ter surgido só para substituir talvez a falta de um "dimorfismo feromonal"... os ancestrais dos humanos tinham fossas nasais maiores, e maior sentido de faro, provavelmente. Conforme ficamos neotênicos, conservando as proporções cranianas dos macacos bebês/juvenis, devemos ter perdido olfato, e talvez nessa situação, o impulso sexual fosse menos rigoroso na distinção sexual. Dimorfismo na aparência, que fosse sexualmente selecionado então traria vantagem reprodutiva. Qualquer coisa, desde que diferenciasse mais homens e mulheres.
Não sei se é coincidência apenas, mas os chimpanzés-bonobos também tem um certo grau de neotenia, e são os macacos em que mais ocorre homossexualismo, pelo que ouço falar.
O interessante é que uma diferença pode ser bem menos significativa para ser selecionada sexualmente, do que precisaria ser para ser selecionada naturalmente mesmo.
Quanto a essas diferenças de sentidos, supostamente adaptadas aos nichos masculino e feminino, ainda acho que poderiam muito bem ocorrer só por experiência individual a partir de potenciais praticamente iguais. Mais ou menos domo diferenças de desempenho em diversas profissões, que requerem habilidades diferentes, mas que não se supõe terem genes fortemente relacionados. Por exemplo, dizem comumente que os melhores chefs são homens... não vou entrar na questão sobre se são os melhores, mas não duvido que eles e degustadores de vinho tenham paladar e olfato mais apurado do que muitas mulheres que não cozinhem, por exemplo.
Claro, alguém poderia dizer que o gene para habilidade na atividade também tem o efeito ou está fortemente ligado a outro gene para uma propensão à atividade, e assim esses desvios ainda teriam base totalmente genética ou qualquer coisa assim...... mas acho bem esfarrapado isso.
Poderia ainda se hipotetizar vantagens inversas nessas reconstruções de estorinhas... que os homens levariam vantagem em visão periférica, de curta distância, pois quando estivessem numa distância de combate viável, seja no meio duma briga entre tribos, ou no terreno de uma presa ou predador camuflado a um segundo de pular no pescoço, essas coisas fariam muito mais diferença do que uma eventual vantagem de ver uma presa ou tribo inimiga à longa distância, onde há maior chance de ser vista devido ao tempo maior para ver, há mairo chance da presa fugir, do grupo de humanos fugir, etc, de fugir do predador, etc, mesmo que não se tenha uma visão à longa distância tão boa assim. Já mulheres, por serem mais indefesas, levariam vantagem em ver por longas distâncias pois estariam mais permanentemente em território seguro, eliminando a necessidade de cuidados com algo que vem de muito perto, mas tendo vantagem em observar, já de longe, se o grupo de homens armados que chega é o do bando delas ou se são potenciais inimigos. Assim teriam mais chance de recolher as crianças e velhos e fugir para outro local, ou qualquer coisa do tipo.
Também levariam vantagem em ter olfato e paladar mais apurados por razões similares, e porque pode se imaginar que sejam os desbravadores, tendo que experimentar comidas desconhecidas, o paladar e olfato sendo um detector químico de possíveis venenos ou coisas menos saudáveis. Já as mulheres só se fixariam depois do terreno ser desbravado e de já ter sido difundido pelos homens quais os alimentos bons e ruins da região.
