Na verdade, encriptar ou não o protocolo não define se ele é aberto ou fechado, o protocolo https, por exemplo, é criptografado e no entanto é aberto e definido por RFC... Assim como o do bit torrent, ou do SSH
Todos os protocolos de IM que eu saiba são fechados, salvo o caso do Jabber
Eu acho que a única coisa que o MSN fez pra conquistar o público foi vir junto com o Windows... aí todo mundo que começou a acessar internet de 98 pra cá acabava usando MSN ao invés de ICQ
E claro que a microsoft fez o possível pra dar uma "mãozinha" pra acabar com o ICQ, fazendo o MSN abrir automáticamente no Windows querendo-você-ou-não, e pra melhorar não dava nem pra achar ele nos lugares costumazes de auto-inicialização (registro do windows e/ou pasta Iniciar), só abrindo o programa e mexendo na configuração, sem falar que o ICQ era grandinho, quase 4mb se não me engano (isso o 98) em época de modem era uma eternidade...
Um protocolo aberto é necessariamente um protocolo documentado por quem o desenvolveu e disponibilizado para o público, e, no caso dos da internet, muitas vezes baseado num RFC (eu diria todos, mas isso não implica que um protocolo não seja aberto caso não esteja definido num rfc)