Não, não tem nada a ver com a coisa de fora, ponto.
É uma diferença como ranhuras no disco e música. As ranhuras no disco não são "propriedades da música", ou de som. Ou que o magnetismo que provoca a visualiação de fosfenos (luzes, do ponto de vista do "observador interno"), não produz luz alguma, e nem precisa de olhos para ocorrer/ser visto.
A nossa visualização de luz visível não é por ela ser "visível de verdade", ou inerentemente visível, e tendo inerentemente essas cores. Poderia ser o caso de que, por algum motivo que nem imagino, a algum organismo, fosse adaptativo sentir sabores a partir do estímulo luminoso, em vez de ver cores. Então para este ser, a luz teria diferentes sabores (se isso evoluísse). Isso ocorre parcialmente em pessoas com sinestesia. Algumas pessoas especulam que morcegos literalmente formem imagens a partir da ecolocalização, ou seja, a audição, sons, que não têm nada a ver com a luz externa, seriam vistos da mesma forma que nós vemos luz.
Mas não é que eles seriam "esquisitos" e veriam as coisas de forma "errada", aplicando propriedades de um estímulo ambiental a outro. Na verdade nem a luz, nem os sons, têm de fato as propriedades secundárias que associamos a eles. São criações mentais, rótulos, propriedade da atividade do sistema nervoso, apenas. Não existem sem animais, sem cérebros para perceber/fazer essa rotulação, da mesma forma que palavras para descrever o mundo não existem antes de pessoas e linguagem, e não são de maneira alguma inerentes aos objetos rotulados por elas.