O estudo de Einstein do movimento browniano não parece de alguém que não se sente à vontade com matemática. A relatividade geral usa geometria diferencial, também. E acho que a unificação que ele tentou da força eletromagnética com a gravitacional foi "tentada matematicamente", não através de princípios (não sei nada sobre disso; apenas reproduzo não muito fielmente a opinião do Feynman, conforme relatada em um livro do Dyson).
Einstein por inúmeras vezes se queixou da matemática. Chegou a dizer que "depois que os matemáticos se apropriaram da relatividade, eu mesmo não mais a entendo" (Ohanian, 2009). Precisou da ajuda de Grossman para se familiarizar com o tensor métrico criado por Riemann, que descreve matematicamente a estrutura de um espaço curvo nos moldes necessários para a Relatividade Geral. O ensaio de 1913 (ainda não totalmente correto) tinha uma divisão bem clara, entre a parte física, de Einstein, e a modelização matemática, sabidamente de Grossmann. E, embora "a intuição de Einstein sobre a física fosse clara e incisiva, a sua implementação matemática da física foi um desastre e o impediu de construir [à época] uma teoria coerente" (Ohanian, 2009, p. 248).
Naturalmente, Einstein acabou se familiarizando com esta matemática e, quando David Hilbert estava competindo com ele na obtenção da equação de campo final, Einstein fez muito do trabalho matemático árduo por si mesmo (o que o permitiu, pelo menos assim pensou, excluir totalmente o nome do amigo, Grossmann). Ou seja, evidentemente Einstein estava apto a lidar com as questões matemáticas, de modo mais confortável que muitos físicos, o que não é mutuamente incompatível com seu pé atrás em matemática. São coisas diferentes. O próprio Hilbert se queixou: "Qualquer garoto nas ruas de Göttingen entende mais sobre geometria quadridimensional do que Einstein". E, muito importante: "Ainda assim, apesar disso, a obra é de Einstein, não dos matemáticos" (Ohanian, 2009, p. 278).
Em suma, uma coisa é não estar confortável com a matemática. Outra coisa é não saber matemática. E Einstein certamente sabia.
Referência
OHANIAN, HANS C. Os erros de Einstein. São Paulo: Larousse do Brasil, 2009.