Além do mais, já que você parece saber usar os melhores rótulos,
Nem tanto. Apenas pense que "feminismo" é na concepção geral* algo como "posição político-filosófica a favor da igualdade entre mulheres e homens", ou alguma variante disso. Então dizer "eu não sou feminista" soa para a maioria das pessoas meio como "eu não sou a favor dos direitos dos negros", "eu não sou anti-escravista", "eu não concordo com a defesa dos direitos da criança e do adolescente", etc.
Qualquer oposição não-FDP ao que algumas vezes está por trás esses rótulos ou linhas políticas não só precisa do rótulo "anti", ou mesmo de expressar "não ser" uma dessas coisas, com que, de modo praticamente universal, todo mundo concorda.
Faz mais sentido a pessoa fazer questão de se dizer "não feminista", se por exemplo, achar que deva-se revogar o direito das mulheres ao voto, ou qualquer outra coisa na direção de como as coisas são lá pelas bandas do Oriente Médio. O que creio que na maior parte do tempo não deve ser o que passa pela cabeça das pessoas que possam querer se dizer não-feministas.
* E é o tipo de coisa que se deve se considerar se não se tem como hobby ser mal entendido e discussões semânticas. Aqui entraria também a admissão de ser "machista" num suposto sentido original não-pejorativo e não misógino, assim como entraria a pessoa tentar se explicar como nacional-socialista não-nazista por "valorizar a sociedade e a nação", etc.
