A justificativa 1 é: "Os negros foram trazidos para o Brasil como escravos, tiveram seu trabalho indevidamente explorado e, após a abolição, foram deixados à própria sorte. Os descendentes desses escravos sofreram e sofrem as consequências desse episódio e, por isso, tem mais dificuldade que outros grupos de conseguirem ingressar no vestibular por ampla concorrência. As cotas servem para compensar esse desequilíbrio histórico."
Se o indivíduo aceita essa justificativa acima, então não faz nenhum sentido se ater ao fenótipo. Um sujeito hipotético que tenha, digamos 8 ancestrais diretos que foram escravos, mas que possui um fenótipo mais próximo ao europeu por causa da miscigenação deve possuir um "cota score", um direito para usufruir da cota, maior do que um cara com fenótipo negro mas que teve apenas 3 ancestrais escravos. Claro que "número de ancestrais" escravos é apenas um indicador possível para representar o direito à cota de reparação histórica, mas estou dizendo tudo isso para afirmar que alguém que defenda cotas sob essa justificativa 1 não pode estar preocupada com critérios fenotípicos, apenas com critérios genéticos, porque importa saber de onde essa pessoa se originou do ponto de vista da história do Brasil. Esses dois garotos da foto são irmãos (gêmeos!), portanto possuem exatamente os mesmos antepassados históricos, que sofreram exatamente a mesma opressão, então tem exatamente o mesmo direito de receberem essa reparação.

A justificativa 2 seria: "O racismo ainda é uma realidade. As pessoas negras, hoje, por causa de sua cor e seu fenótipo, são preteridas em vários aspectos da vida estudantil, e não tem acesso às mesmas oportunidades que pessoas brancas, mesmo pessoas brancas da mesma classe social. Há uma desvantagem adicional provocada pelo racismo e a cota serve para compensar isso."
O indivíduo que defende cotas sob essa justificativa, ao contrário do primeiro, precisa estar exclusivamente preocupado com o fenótipo. Agora, pouco importa o fato de ele ter 4 ou 5 ou 10 antepassados escravos, importa que ele possui fenótipo negro e é essa condição individual que faz com que ele seja castigado com desvantagens pela sociedade, e as cotas existiriam para contrabalancear essas desvantagens. Isso quer dizer que o critério não pode ter nada a ver com genética. Um negro que venha de família que imigrou recentemente, por meios e iniciativa própria, ou mesmo um não-subsaariano que possua fenótipo "próximo", como um cara de família aborígene, deve ter direito à cota.
Resumindo: o que vamos procurar em uma pessoa para considerá-la negra defende fortemente das razões que levaram o programa de cotas a ser implementado. Não sei qual é a justificativa mais próxima da "oficial", ou mesmo se é uma mistura de ambas, para complicar ainda mais.
Mesmo que não existisse essa dificuldade, ou seja, supondo que fôssemos unânimes em alguma das justificativas acima, ainda apareceria a dificuldade da arbitrariedade dos casos limítrofes. Haverá um valor limite que separa abruptamente um negro de um não negro, e isso é um problema, porque concede o benefício a um e não a outro, mesmo que ambos os indivíduos tenham praticamente o mesmo valor naquele critério.
Um jeito de resolver isso, absurdamente inviável do ponto de vista prático pelo trabalho que ia dar, seria atribuir individualmente e universalmente um valor a ser acrescentado na nota de cada indivíduo no teste, de acordo com o "cota score". Então, pelo critério genotípico, o indivíduo com pouquíssimos ancestrais escravos, que ainda por cima eram indiretos etc. teria um baixo "cota score", e teria só um pouquinho de acréscimo na nota (sei lá, +1%). E o cara que teve 15 ancestrais direitos escravos, a família se fodeu até 1888 e ainda quebraram os braços e pernas de todo mundo antes de soltar da fazenda, teria um alto "cota score", portanto um alto acréscimo (por exemplo, +15%). E aí, cada indivíduo, dentro desses extremos, teria sua própria pontuação, gerando um valor personalizado a ser acrescentado na nota. Pelo critério fenotípico (caso adotássemos a justificativa 2), a mesma coisa: um cara com fenótipo do Eddie Redmayne teria baixíssima pontuação para cota, portanto pouco acréscimo na nota. Um sósia do Martins Indi teria alta pontuação, logo alto acréscimo. E todos os intermediários teriam, outrossim, sua pontuação personalizada.
E aí, 28 anos depois de as provas terem sido realizadas, sairia o resultado do vestibular, de forma justa e criteriosa.
Ou seja, nenhum critério bom o suficiente poderia ser implementado de forma viável.
A minha justificativa/racionalização de cotas raciais seria que a raça/cor deve ser em boa parte correlata a uma pobreza maior do que a que seria capturada por critérios apenas econômicos como renda familiar. Negros/pardos, tão mais escuros quanto forem, devem
tender a ser mais pobres e ter parentes mais pobres do que brancos ou pessoas mais claras com uma mesma renda. Tanto riqueza "tangível", bens, quanto em capital humano, como parentes com maior escolaridade. Então seria apenas uma continuidade/"aperfeiçoamento" grosseiro das cotas sociais. Talvez, apesar de grosseiro, bom o bastante, melhor que apenas critérios econômicos mais superficiais, que não capturassem isso. (Infinitamente melhor se fosse extirpado o discurso populista-coitadista-segregacionista ao mesmo tempo).
Mas, na prática, só de haver essa agregação de negros e pardos na mesma cota já deve enfraquecer esse efeito, perpetuando o mesmo problema que se tenta resolver com as cotas (só dando uma pequena vantagem adicional aos que já estavam em vantagem relativa). Especialmente nos casos em que existir a cota racial independente de critérios sócio-econômicos. O que não sei se é comum, mas parece que é uma opção. Há algum tempo postei uma tabela com uma lista de resultados de diversas modalidades cotistas, são uma porção de possibilidades e parece que varia de lugar para lugar.
Dentro dessa linha de justificativa, ainda haveria como falha todo o problema de imprecisão na delineação de raça, falsos positivos e afro-brasileirativos, de qualquer forma. Acho que o problema seria melhro lidado tendo isso apenas como um "bônus" não muito grande na cota, mas ter uma gradação de cota econômica, quanto mais pobre, melhor. Com punição por falsidade ideológica e etc e tal, já que será então algo mais objetivo do que raça. Acho que em alguns lugares até há diferentes níveis de cotas econômicas, tem só a "só estudou em escola pública", que ainda não é algo que vai selecionar tão bem assim os mais pobres, mas também uma cota de pobreza mesmo. Mas talvez fosse melhor haver só essas. Talvez ter estudado em escola particular com baixa renda familiar também devesse ser bônus até.