Dependendo do computador, sim. Ele poderia usar, por exemplo, um site da internet que exlorasse uma falha de segurança do browser ou do flash player ou do java do usuário e executar um código arbitrário. Ou então se aproveitar de uma falha em algum processo que esteja rodando no computador da vítima, por exemplo, lembra do worm
Blaster? Ele executava código arbitrário em um computador qualqeur que estivesse rodando o Windows XP, explorando uma falha num processo de rede do XP.
Em suma: o melhor jeito pra se "invadir" um computador é conhecer alguma falha em software que permita que o computador aceite conexões remotas e permita a execução de um código arbitrário. Lembra do Matrix Revolutions, quando a Trinity invade o computador da central elétrica usando um terminal de texto? O que aparece na tela é ela explorando um bug conhecido do programa nmap, que havia sido descoberto e corrigido na época da produção do filme.
Edit: É claro que basta que a vítima mantenha um firewall bem configurado e se software atualizado para reduzir bastante a probabilidade desse tipo de coisa dar certo.