Um amigo meu ganhou um vista 32 bits e instalou na máquina nova dele (Core 2 DUO E6400 + GF 7800 GT + acho que 2GB de DDR2). Rodou lindamente: testou Doom3 e FEAR ao mesmo tempo, não houve travamentos, apenas uma pequena queda no framerate do FEAR.
Ele testou ambos os sistemas na mesma máquina, o Vista e o XP. Segundo ele, a diferença foi "ABSURDA".
Acho que o problema de vocês é hardware mesmo.
Quanto aos drivers, vão saindo com o tempo. Ainda é cedo para se usar o Vista (principalmente se você não tiver dinheiro pra comprar um core 2 duo + 2GB de ram DDR 2

). Imagino que o preço dos processadores da Intel (que já são muito bons) deverão cair bastante ainda, para nossa alegria.