Sim, a coisa é mais histórica que cultural ou geográfica mesmo. O povo brasileiro é bem homogêneo culturalmente, especialmente quando comparado com outros povos e antes da imigração do final do século XIX, que foi mais conseqüência do que causa da concentração no sudeste.
Isso acontece em parte por causa da colonização do Brasil ter se dado em uma área geográfica bem pequena relativamente ao tamanho do país, geralmente bem próximo do Litoral. Como o litoral brasileiro é bem semelhante tanto em relevo quanto em vegetação, a diferença geográfica é bem pequena.
A geografia pode explicar coisas pontuais, como o motivo do Rio ser a capital do Império em 1808 e porque São Paulo, e não Santos, se desenvolveu como maior cidade do país. Mas o resultado é o que já foi dito, no momento da independência e da república essas regiões eram as mais ricas e influentes, e riqueza gera poder político e conseqüentemente mais riqueza, especialmente quando as outras regiões do Brasil estão entregues ao coronelismo regional com pouca ou nenhuma influência nacional.