O problema é inerente a tentar traçar uma delimitação precisa em algo que é inerentemente gradual. Existem também outros "sub-conceitos" de espécie; o mais abrangente, e de distinção inerentemente mais turva, bio-espécie ou cenoespécie, e eco-espécie. No primeiro a distinção seria mesmo a de fertilidade, e no segundo, pode ser apenas comportamental, reprodução mais comum na natureza, com a compatibilidade fisiológica podendo ser total. Há ainda as "paleo espécies" que trazem uma camada adicional de dificuldade de classificações, bem como de se tentar inferir em qual dessas categorias se encaixaria. Acho que geralmente tendem a fazer a suposição mais "conservadora", isso é, paleo-espécies como bio-espécies, tendendo mais a gễnero do que a eco-espécie.
Neandertais calham de serem uns dos primeiros (se não forem absolutamente os primeiros) objetos de estudo da "paleogenética", que possibilita se tentar inferir algo mais preciso do que se tem com paleo-espécies sem vestígios genéticos diretos. Acho que a totalidade dos indícios aponta para alguma diferenciação já maior do que apenas eco-espécie, com coisas como diferentes ritmos de desenvolvimento, e mesmo a essa aparentemente raridade dos seus alelos entre os humanos atuais (embora em Homo sapiens modernos mais antigos, como a múmia natural "Otzi", haja maior quantidade desses alelos; não sei para que lado isso pesa), que talvez seja sugestiva de fertilidade reduzida entre os híbridos, em nível biológico mesmo.
Me parece que há uma série de estudos que afirmam ter conseguido até praticamente quantificar quantos "episódios de hibridação" (o que por sua vez eu não tenho noção do que representa "quantitativamente", mesmo numa unidade; se literalmente uma hibridação, ou algo como a mesclagem entre duas populações) teria havido, bem como especulações sobre poder ser o caso da herança "neandertal" não ser realmente neandertal, mas ancestral a ambos. Deve ainda haver contudo quem também tente sustentar o contrário, que sapiens e neandertais eram apenas variações menores da mesma espécie.
PS.: Acho que não existe isso de híbridos férteis "apenas por algumas gerações". Seria um mecanismo muito curioso, e suponho, também bem raro para isso... acho que o mais esperado, seja com hibridação dos híbridos com alguma das espécies oridinais, ou mesmo entre híbridos, será sempre fertilidade cada vez mais restabelecida. Em ambos os casos, as combinações mais compatíveis de alelos vão se reproduzir mais. No caso de cruzamento de volta com uma das espécies originais isso deve ajudar muito já que se reduzem os genes que poderiam causar incompatibilidade. Só nesse sentido que acho que poderia se entender que as hibridações férteis "só existem por algumas gerações", não porque depois de N gerações de repente são mais inférteis do que antes, mas por terem gradualmente se tornado "menos híbridas".