Eu acho que você não deveria deixar esse assunto se intrometer na vida pessoal de vocês. Sim, parece meio difícil de compreender, mas eu digo pra evitarem conversarem sobre esse assunto, cada um respeita o espaço do outro, evitarem fazer proselitismo (de ambos os lados), mesmo que disfarçado. Lógico que isso é muito mais difícil pra ela, já que como acredito que seja com a maioria dos ateus, não nos importamos de participar ocasionalmente desse tipo reunião. Mas talvez incomode a ela o fato de você não participar frequentemente.
Namorei uma menina que era evangélica, apesar dela já estar praticamente desvirtuada, só a família que a mantinha (basicamente a força) nesse meio. Fui algumas vezes em cultos com ela. Não me incomodava, só enchia o saco e dava uma certa raiva ver aqueles pastores semi-analfabetos em cima daqueles púlpitos falando e agindo como se soubessem de alguma coisa, dando ordens aos seus seguidores, mas enfim, cada um sabe o que faz. Mas durante nosso relacionamento, não conversávamos sobre esse assunto, simplesmente não entrávamos em questões que diziam respeito a isso.
Acho que é interessante você, desde logo, esclarecer pra sua esposa que você não se incomoda de acompanhá-la, mas que você está indo lá fazer justamente isso, acompanhá-la, e não porque está interessado ou mudando de idéia. Diga que você não se sente de todo confortável no ambiente, mas que isso não o perturba a ponto de evitar ir com ela, caso ela queira. E dê espaço pra ela ter certa individualidade, da mesma forma que você tem a sua (por exemplo, você não pede pra ela criar uma conta no CC e ficar debatendo com a gente aqui sobre ateísmo).
Julgo que um dos problemas maiores dos relacionamentos é que o casal abre mão totalmente de sua individualidade e passa a querer fazer tudo junto. Saem juntos o tempo todo, vão pra todos os lugares juntos, querem fazer tudo um com o outro. Lógico que todos adoram passar tempo com as pessoa que ama, incluí-la em todas aquelas atividades que você acha interessante, mostrar um mundo novo à pessoa, mas tem que existir certa individualidade. Eu não abro mão, por exemplo, de curtir um bro time com os amigos, sem mulheres, só falando merda, curtindo a amizade dos bros.