Aí é que está, Marcel. Tudo bem que a energia cinética, bem como outras variáveis relevantes para o caso, como o Momento, são menores para corpos com menos massa e menor velocidade.
Mas o estrago é proporcional à constituição dos objetos envolvidos.
Um pedregulho nos afeta pouco, mas pode esmagar uma formiga.