Sim, ter essa conexão é um desperdiço de banda por causa dos hds... É mais viável instalar seu S.O. na internet e botar pela rede.. 
Sim... o futuro será exatamente isso!
com a grande maioria dos aplicativos sendo rodados diretamente no servidor
Ah, ainda acho mais fácil aumentarem a velocidade e capacidade dos diversos componentes do computador em vez de rodar os programas direto do servidor. Se não me engano foi a Novell que criou (ou pelo menos levou a sério) há mais de dez anos o conceito de
network computer (NC), mas ele nunca progrediu porque se baseava em premissas muito simplistas. Com uma largura de banda dessas, acho mais provável que passem a ocupá-la assistindo televisão, ouvindo música, jogando PS4 online, usando computação distribuída e etc, mas nunca ficar sem instalar os aplicativos. Até porque, se ocorre um problema no servidor (vide o caso recente do Skype no Brasil) todo mundo fica "na mão". Para mim, os arquivos a serem abertos/executados/etc podem até ficar nos servidores, mas os aplicativos não.