Vamos aos fatos:
1- Uma criança do sexo masculino é Homem.
2- Uma criança do sexo feminino é mulher.
3- Ser criança não muda os fatos dispostos em 1 e 2.
4- Sentir atração por pessoas do mesmo sexo se chama Homossexualismo.
5- Sentir atração por pessoas do sexo "oposto" se chama Heterosexxualismo.
De acordo com o elencado acima, se um homem adulto sente atração por um homem infante, isso se caracteriza como desejo homossexual. Além de ser homossexual ele possui um disturbio que o torna um pedofilo.
==========================================
Bem, eu estou de pleno acordo com o que eu acabei de dizer 
1 - Errado. Criança do sexo masculino é criança ou menino ou garoto. Está bem longe de ser um homem. A menos que você esteja se comparando a um menino.
2 - Errado também. Mulher é mulher, menina é menina. Não misture as coisas.
3 - Crianças e adultos são bem diferentes.
4 e 5 - Parcialmente corretas. A atração não é apenas pela pessoa, mas também pelo sexo da pessoa. Atração por todas as características que marcam aquele indivíduo como homem ou mulher.
Se um homem sente atração por um menino (que não é um homem miniatura como você parece acreditar) ele é doente e precisa ser tratado.
Essa atração doentia nem sempre é puramente sexual. Em alguns casos o pedófilo quer de alguma maneira voltar a um período da infância e reviver esse período de maneira diferente. Ele é atraído não pelo sexo masculino, mas pela imagem de uma possível infância perfeita. Na mente doente dele, possuir esse menino pode lhe dar essa volta no tempo. Dentre tantas outras motivações que não são puramente atração pelo sexo masculino.
Eu estou totalmente de acordo com o que eu digo também. Porque será??? Ah, já sei: porque fui eu que disse, obviamente.

Não entendo como pode se desconsiderar o objeto de atração sexual de um indivíduo como fator para definir a sexualidade do indivíduo.
Ou somente o sexo, para a hetero, bi ou homossexualidade.
Porque a atração dele se deve a um distúrbio e não a uma característica da personalidade.
Além disso, quem sente atração sexual por animais é homo, bi ou hétero? Atração sexual por objetos inanimados é homo, bi ou heterossexualidade? O desejo de homem em ter especificamente uma mulher lhe penetrando com um pênis de plástico dá a ele a definição de homo, bi ou heterossexual?
Acho que vocês estão simplificando demais uma questão que é tão complexa quanto a mente humana.