Acho "feminismo" algo meio anacrônico hoje em dia.
É um pouco como se rotular anti-escravista, ou ainda, pró-direitos das crianças, ou pró-direitos dos idosos.
99,99% das pessoas são essas coisas, mesmo boa parte daquelas que se colocam como não/anti-feministas.
Se rotular assim acaba até de certa forma denotando um senso de "superioridade", ao assumir ser algo mais especial/raro, não um valor universal. Mas por algum motivo isso acaba não sendo tão evidente quanto seria com essas outras posições político-ideológicas universais. "Eu sou contra a escravidão. E você?"
Mas numa sociedade ainda reflete forte traços de machismo, misoginia e discriminação a luta do feminismo e por consequência as feministas declaradas ainda tem uma grande importância. Só pra ficar no seu exemplo dos "anti-escravagistas", isso não faz com que a luta contra a discriminação contra negros esteja acabada ou que a situação dos negros hoje seja de igualdade, muito longe disso.
Petição de princípio. Haver machismo, assim como haver roubo, não confere grande importância aos rótulos opostos a isso. É o "default" ser feminista/igualitarista, assim como ser contrário ao roubo e ao furto -- inclusos aqui até a maioria das pessoas com tendências socialistas e comunistas.
A luta contra as coisas erradas
nunca irá acabar -- mas não é algo que depende significativamente do uso esnobista de rótulos vagos de "sou-correto-por-definição", que são usados até para dar validação a coisas erradas também, estapafúrdias.
Motivo pelo qual não é incomum rejeição ao rótulo, mesmo por pessoas que compartilham em 100% dos valores descritos na definição do dicionário do termo. Se você subtrai os valores default/universais, o que sobra é o tosco e o bizarro.
Implícito aí, pessoas que se rotulem como "feministas"/outras coisas "corretas por definição" poderão muitas vezes ser ativistas de causas importantes e válidas. Mas o uso do rótulo é desnecessário e possivelmente prejudicial, tanto em rejeição por associação, como talvez por propiciar vieses de interpretação/explicação.
Eu não sou feminista e nem "masculinista", sou humanista.
Eu deveria me envergonhar de mim mesmo?
Sim, pois se é realmente isento como o rótulo supostamente intenciona sugerir, deveria ser pessoista, pois "humanista"/"hominista" já tem o viés morfológico/etimológico machista.
Mas isso ainda deixa de lado o problema crasso de se colocar sob o mesmo foco de proteção oprimido e opressor. Não é preciso ser gênio para perceber a quem isso privilegia.