Neoliberal é um pouco como "nigger", ou "negro" em inglês. Embora etimologicamente não tenha nada demais, e seja até tecnicamente correto, o uso do termo acaba ficando na prática pejorativo, embora possa ser usado em discussões técnicas, que comumente terão uma formalidade que permite esse tipo de exceção (assim como "negro" em inglês).
E da mesma forma, o termo até perde a ofensividade quando uma pessoa de livre-mercado chama jocosamente outra pessoa de livre-mercado pelo termo, geralmente quando ambas tem algum grau um pouco maior de proximidade.