Bom dia!
Eu ouvi esse questionamento certa vez em uma palestra. Suponha que você pegue alguém ainda bebê e vede os seus olhos por 20 anos, de modo que ele nada possa enxergar, mesmo não sendo cego (ignore para fins ilustrativos qualquer tipo de limitação real que talvez possa haver com a visão ao simplesmente se desvendar os olhos de alguém que não é cego após 20 anos).
Durante esses 20 anos, você ensina absolutamente tudo o que se sabe fisicamente acerca das cores azul e vermelha para esta pessoa, comprimento de onda, frequência, etc. Esse é exatamente o mesmo tipo de informação que um computador pode armazenar sobre cores, ou o que quer que seja, isto é, informação objetivamente quantificável.
Agora, após 20 anos, você desvenda os olhos desta pessoa e faz com que ela enxergue pela primeira vez o azul e o vermelho. No caso de um computador equipado com um medidor de frequências eletromagnéticas servindo de input para o banco de dados arquivado, ao medir a frequência da onda incidente no detector, o computador consegue distinguir o azul do vermelho, mas não há a experiência subjetiva da sensação da azulidão e da vermelhidão por parte do aparato tecnológico.
Isso é distinto de uma pessoa, ou de qualquer ser vivo, onde a sensação subjetiva da azulidão e da vermelhidão não tem como ser aprendida ou prevista/antevista com base no conjunto de informações físicas que quantificam as luzes vermelha e azul. Então, ao experimentar a subjetividade da azulidão e da vermelhidão, a pessoa aprendeu algo novo? Como essa informação sobre a experiência subjetiva das sensações de azulidão e vermelhidão poderia ser objetivamente quantificada, de modo a poder ser aprendida por um computador?
Eu não entendo nada de inteligência artificial e etc, mas me parece que a experiência subjetiva é algo essecial que distingue a capacidade cognitiva de seres vivos e computadores. Seria possível gerar um programa de computador capaz de ter a experiência da subjetividade? Se não for, isso indicaria que há algum subestrato nos seres vivos que poderia ser vagamente associado com o conceito (também vago) de alma de várias religiões?
Se a experiência subjetiva emerge apenas e tão somente de conexões elétricas/sinápticas no interior do cérebro (é óbvio que é totalmente influenciada por estes fatores, mas o ponto aqui é se isso é tudo!), deveria ser possível reproduzir isso em um computador, ainda que pudesse levar muito tempo...