Considere a seguinte analogia. Quatro formigas estão dispostas nos vértices de um quadrado, de maneira que uma está virada em direção à seguinte. Quer dizer:
1-------2
| |
| |
4-------3
A formiga 1 está virada para a 2, que está virada para a 3, que está virada para a 4, que está virada para a 1.
Imagine, então, que as 4 formigas comecem a andar, sempre mirando na seguinte: a 1 mira na 2, e assim por diante. O que você vai obter é que o conjunto composto pelas 4 formigas terá um determinado momento angular perpendicular ao plano que contém as formigas.
O mesmo acontece nas nuvens de poeira: as partículas se atraem e ganham momento angular. O que faz as partículas andarem umas na direção das outras é a gravidade. Claro que nesse caso a situação é um pouco mais complicada porque são muito mais partículas e todas elas interagem entre si, mas o princípio é o mesmo: como não estão todas posicionadas exatamente na mesma linha, elas ganham momento angular.
Eu só não sei explicar por quê todos giram no mesmo sentido. Mas acredito que, como Guinevere apontou, talvez seja uma pura questão de chance, mesmo, dada pela rotação inicial do disco que gerou o sistema solar no início; a chance de surgirem pequenos vértices no disco girando no mesmo sentido é maior que a de surgirem no sentido contrário.
O interessante é notar, ao observar planetas como Netuno, por exemplo, notar que eles giram em ambos os sentidos - quer dizer, a metade de cima gira numa direção e a metade de baixo gira em outra. Não sei porque isso acontece, mas é bom lembrar que esses planetas são gigantes gasosos, então as coisas ficam um pouco mais complicadas.