Não é "Eggs", são "Easter Eggs" que significam "Ovos de Páscoa".
São chamados assim pois são surpresas escondidas e, nos Estados Unidos e na Europa, é costume esconder os ovos de Páscoa para as crianças encontrarem.
Não são exclusivos da Microsoft também. Podem ser encontrados em inúmeros programas (até o Photoshop 7 tem) e até em DVDs!
Procure por sites especializados, digitando "easter eggs pc" na busca do Google…