Atualmente, os mais comuns, por todo o mundo, são os homens-bombas muçulmanos, então é natural que, sem maior especificidade pensemos imediatamente nesses.
Esses "95%" (que incluem grupos inteiros de terroristas não-muçulmanos) não fazem com que os "5%" desapareçam. Ao mesmo tempo, não é algo cuja distinção vá sempre ser nítida e incontestável, temos que ver exatamente quais foram os critérios. "Califado" é uma noção política e religiosa. Grupos como EI, Al Qaeda, Boko Haram, Exército do Islã, Hezbolah, Irmandade Islâmica, Nação Islâmica, etc, etc, etc*, são islâmicos, comumente já no nome. E em suas declarações eles vão enfatizar isso, não tentar se afastar, "mas isso não é uma questão religiosa; convocamos pessoas de quaisquer religiões a se juntar a nós em nossa causa política, com total liberdade para continuar professando sua religião. É apenas uma causa política que nos une; não é, portanto, uma jihad, como a mídia ignorante comumente confunde -- travamos uma guerra completamente livre de qualquer motivação religiosa".
* Citando apenas os que tiverem "islam" no nome -- tirando subdivisões do "Estado Islâmico" -- apesar de haver outros tantos de nome árabe e que não surpreenderiam se forem também islâmicos:
https://en.wikipedia.org/wiki/List_of_designated_terrorist_groups
Aden-Abyan Islamic Army
al-Gama'a al-Islamiyya
Al-Itihaad al-Islamiya
Ansar al-Islam
Armed Islamic Group of Algeria
East Turkestan Islamic Party
Egyptian Islamic Jihad
Great Eastern Islamic Raiders' Front
Harkat-ul-Jihad al-Islami
Harkat-al-Jihad al-Islami in Bangladesh
Harakat Sham al-Islam
Hezb-e Islami Gulbuddin
Islamic Jihad
Islamic Jihad Union
Islamic Movement of Uzbekistan
Jamiat-e Islami
Jemaah Islamiyah
Khuddam ul-Islam
Libyan Islamic Fighting Group
Moroccan Islamic Combatant Group
Palestinian Islamic Jihad
Society of the Revival of Islamic Heritage
Students Islamic Movement of India
Movement for Oneness and Jihad in West Africa
Muslim Brotherhood
Palestine al-muslima
(Os últimos três tem só "muslim" e/ou "jihad")
Mas deve haver uma quantidade ainda maior que é de radicais islâmicos que se denominam assim, só não já no nome do grupo (ou ao menos não tendo o nome em árabe com "islã", podendo ainda assim ser algo islâmico). E ainda tem listas como essa:
https://en.wikipedia.org/wiki/List_of_charities_accused_of_ties_to_terrorismCom uma série de grupos de "caridade" também ligados a islamismo.
A forçação de barra necessária para tentar dissociar totalmente religião do terrorismo islâmico consegue ficar acima da credulidade necessária para petistas acharem ainda que o partido é santo e imaculado.
Não deveria ser necessário dizer, mas parece que é impossível não "interpretarem" dessa forma. Essa correlação absurda não faz com que todo muçulmano seja terrorista ou compactue com terrorismo. Mas é falsa a idéia de que religiões são onibelevolentes e só promovem paz e harmonia entre as pessoas e nações. O islã não é exceção, por mais que se repita o mantra de ser "religião da paz". Se faz mais visto por ser a religião da jihad.
Negar essa associação e debochar de quem vê nela um problema sério, arriscando a vida por ser considerado apóstata, não ajuda em nada. É só algo que se faz para se reconfortar pessoalmente, para aliviar a dissonância cognitiva.