Se você gosta de libertarianismo, mas discorda desse aspecto, teoricamente pode entender assim, se quiser.
Mas não faltará quem discorde. E dá-lhe discussão meio religióide, sobre o "verdadeiro" princípio de não-agressão, analogias, e o que mais precisar.
Ex.: pode até ser uma agressão, mas seria agressão maior forçar, sob a mira de uma arma (sempre gostam de colocar que será sob a mira de uma arma), o sujeito supostamente racista, a aceitar uma negociação contra sua vontade.
E seria uma agressão igual você boicotar a alguém que acredita em valores racistas, então você também deveria ser proibido de discriminá-lo.
Etc. Essas tentativas de fazer tudo derivar só de um ou outro princípio sagrado sempre cairão em fundamentalismo.