Não é tanto imigração, pura e simples, mas um excedente.
Imigração, para a maioria dos efeitos, é a mesma coisa que aumento da população - mais rápido do que um crescimento "endêmico", "natural" da população local poderia ser, principalmente para efeitos de população que poderia ser economicamente ativa, e ao mesmo tempo, aumenta a velocidade do aumento "natural" da população também, já que os imigrantes e o seu crescimento por reprodução é somado ao da população local.
Isso, em grandes quantidades, é um super-abastecimento do mercado com oferta de mão de obra, que por isso, fica bem barata. Ao mesmo tempo, quase certamente chega uma hora que não há vagas de emprego para todos, que não param de ter filhos, e ainda chegam mais imigrantes...
Compare isso com uma população menor, com menos imigração. Há menos oferta de mão de obra, e essa se torna necessariamente mais cara. Ao mesmo tempo, os números de desemprego tendem a ser melhores, só pelo fato de ter menos gente.
A primeira situação é um monte de gente disputando umas poucas vagas, aceitando desde salários meramente baixos, passando por condições ilegais, até as desumanas; e a segunda é uma situação em que não tem toda essa competição ferrenha, menos habitantes/vagas, se é obrigado a dar melhores condições de trabalho aos empregados, mais escassos.
Na primeira se tem mais pobreza, na segunda menos; não vejo como fugir disso.
Sempre teria alguém para fazer trabalhos de todo tipo, fossem ou não imigrantes. Só que se houvessem menos imigrantes, ou se a população do país fosse menor, de modo geral, sem relevar o papel da imigração, seriam melhor pagos e haveria menos desemprego, e menos pobreza.