Eu não sei praticamente nada do assunto, apenas ouvi o podcast e li uns abstracts e trechos de artigos científicos.
Não lembro de ter visto de nada sobre o aprendizado individual das cores na infância, exceto por essa anedota de um cientista sobre a filha ter demorado a consistentemente dizer que o céu era azul, apesar de já reconhecer o azul em outras coisas, de terem lhe ensinado as cores normalmente. Mas nem sei se isso é realmente pertinente ao suposto fenômeno ou uma confusão com a criança ter dificuldade em entender o céu como uma "coisa", havendo ainda a possibilidade de confusão com nuvens no céu (já que ela oscilava a resposta entre branco e azul).
Eu não sei como explicar/entender isso melhor do que com a analogia com sons e música, e com a possível extensão "para trás" daquilo que parece acontecer com os pintores e eventuais outras pessoas treinadas a distinguir cores que parecem à maioria das pessoas, idênticas. Me parece que tem "parte" do cérebro que é capaz de fazer essas distinções de forma mais ou menos automática, e parte que é mais significativamente influenciada pelo treino. Talvez até haja qualquer coisa como uma parte ser "dominante" até algum dado nível de desenvolvimento mental, e então a outra se tornar dominante. Acho que li algo nesse sentido, possivelmente dentro desse mesmo assunto, ao ao menso algo relacionado a linguagem. É, tem algo assim na minha primeira citação, do blog "neuroanthropology".
Não entendi o seu experimento de ensinar a diferença entre verde e vermelho com um "pano de fundo" preto.