Faz um tempinho que quero brincar com redes neurais, mas falta tempo. Minha paixão mesmo são algoritmos genéticos.
Mas esse negócio de a gente se matar pra fazer alguma coisa pela primeira vez e depois parecer trivial é muito curioso mesmo.
É que da primeira vez que você faz os pesos sinápticos na sua rede neural natural são valores aleatórios, mas após sucessivas épocas de treinamento supervisionado os pesos são ajustados e minimizam o erro da saída

pode dar mais detalhes sobre a técnica? tenho bons conceitos em programação, estrutura de dados, etc..
A analogia que eu faço para quem não entende nada de programação é que treinar uma rede neural é como ajudar uma pessoa vendada a encestar uma bola de basquete. Se a pessoa não faz a menor ideia de onde está a cesta, ela vai arremessar a bola para lugares aleatórios, com forças aleatórias, mas conforme você vai falando (mais para a esquerda, agora mais para a direita, mais alto, mais forte...) ela vai calibrando a mira. Após, sei lá, 200 tentativas, ela vai estar tão bem treinada que vai acertar quase todos os arremessos.
Agora complicando um pouco mais: uma rede neural, como o nome diz, é uma rede de neurônios. Um neurônio (ou nodo) é um modelo comptucaional de neurônio biológico. Cada neurônio recebe várias entradas, essas entradas são multiplicadas por uma ponderação chamada de peso sináptico e além das entradas há mais um outro valor chamado
bias (tendência ou viés, em inglês), cada entrada multiplicada pela sua ponderação e mais o bias são todos somados entre si. O resultado dessa soma é enviado para uma função de ativação, dependendo do que você quer fazer você usa um tipo de função de ativação diferente, geralmente para tarefas como classificar padrões se usa uma função descontínua, como a função sinal ou a função degrau e para tarefas como interpolar funções se usa funções de ativação contínuas, como a tangente hiperbólica ou a função logística. A saída da função de ativação é a saída do neurônio, que pode ser passada para um outro neurônio da rede. Tanto os pesos sinápticos quanto os bias são iniciados com valores aleatórios mas são alterados a cada iteração sobre a rede visando minimizar a diferença entre o valor calculado pela rede e o valor desejado, para tanto existem diversos algoritmos de otimização para minimizar o erro (eu nunca vi um algoritmo genético sendo usado para isso Snow, talvez esteja só esperando você inventar

)
A rede neural é formada por uma camada de neurônios na entrada, uma camada de neurônios na saída e um número de "camadas escondidas" no meio. No meu caso, como quero interpolar funções com 7 variáveis de entrada e 3 de saída, a camada de entrada tem 7 neurônios e de saída tem 3. O número de camadas escondidas e o número de neurônios em cada uma não é tão fácil decidir, não pode haver nem neurônios de menos e nem neurônios demais. Está demonstrado matematicamente que para interpolar qualquer função contínua e com primeiras derivadas contínuas basta uma única camada escondida, mas às vezes usar duas é mais eficiente. A rede também pode ter realimentação, se por exemplo for uma função implícita que dependa das saídas.
Além de interpolar funções as redes neurais são usadas principalmente para detectar padrões, em áreas como visão computacional, por exemplo, ou em tarefas de classificação. Uma possível aplicação para redes neurais é criar um programa de computador que seja capaz de passar por aqueles chatíssimos "captchas" usados em alguns sites justamente para se prevenirem de você ser um programa de computador. Uma rede neural bem treinada poderia "ver" uma figura e identificar que um desenho parece uma letra A, outro parece o número 7, e assim por diante.