Racismo é só uma versão um pouco "aditivada" de tribalismo, que existe antes do contato entre grupos que comumente se considere serem raças distintas, seja social ou biologicamente.
Em todos os continentes (com os quais coincidem as divisões raciais mais aceitas/usadas atualmente) existiram conflitos tribais por divisões menores, em alguns casos onde até deram rótulos também raciais que hoje parecem estranhos (como a subdivisão de brancos em várias raças*). Racismo contra negros é só um caso particular disso, mais acentuado pela escravidão ter criado essa sobreposição da diferença fenotípica com a sócio-econômica, com uma "casta", e um pouco mantido também pelo subdesenvolvimento do continente africano não ter visto uma melhora econômica nas proporções da ocorrida na Ásia nas últimas décadas.
Em outras palavras, não dá para se traçar muito bem uma demarcação histórica da origem do racismo contra negros em particular, seria provavelmente desde o momento de contato de negros com outras pessoas, que já eram racistas contra elas mesmas (assim como os negros contra eles mesmos, e contra os "visitantes"), e o fato de negros serem ainda mais marcadamente distinguíveis só contribui com isso. Ao longo da história a coisa foi apenas se agravando, nunca "surgiu" depois de um momento inicial de respeito mútuo e um paradigma igualitário.
Mais recentemente parece que o principal determinante das linhas "tribais" não é tanto raça ou tribos, mas camada sócio-econômica. Como exemplo, lembro de ter lido algo sobre como os descendentes de italianos nos EUA, ainda um pouco antes de desfrutarem do rótulo de "brancos", estariam mais dispostos a aceitar dentre eles japoneses ou chineses, do que latinos de descendência hispânica, o que teria a ver com diferentes status sócio-econômicos desses grupos. Imagino que provavelmente seja assim também em outros lugares, como no Japão uma pessoa rica, seja um branco ou negro, ser melhor vista do que um burakumin japonês.
* E algo perdura ainda hoje: muitos de nós estranhamos as divisões usadas em pesquisas sociais e até médicas americanas, separando brancos e latinos.