Essa diferença de desempenho aparece mais em HDs pequenos. HDs de 40, 80 GB em diante, a diferença de desempenho é irrelevante. Além do que, em FAT32 há um limite de tamanho de arquivo de 2 GB (2048 Mb), tornando impossível (por exemplo) salvar uma imagem de DVD no hd. Em NTFS isso não ocorre.
Como o Angelo, faz muito tempo que não uso FAT32.