Não é que umas etnias não podem ser vítimas de racismo, mas simplesmente apenas algumas situações se enquadram com um estereótipo ou uma reafirmação de uma hierarquia racista tradicional, outras não.
Se a mulher negra estivesse numa posição que poderia ser entendida como "melhor"/after, isso praticamente não seria entendido assim por ninguém nesse caso, simplesmente porque não há uma noção geral de que os negros são superiores. De forma similar, você poderia ter uma cena onde há um trabalhador rural e seu patrão, e, dependendo de alguns detalhes, ela poderá acabar tendo um ar que remete à escravidão, a um escravo negro e seu "dono" branco. A mesma cena, trocando as raças, mais dificilmente poderia ter qualquer interpretação sugerindo que "o lugar do branco" é servindo o negro.