sms ne gère pas le H264, et probablement jamais vu que la ps2 n'aurait pas la puissance nécessaire pour le gérer correctement (si c'est pour être limité à du 320x240... )
sms gère le mpeg1/2, divx, xvid, mp3, ac3 (et conteneur .avi, mpeg)
sms ne gère pas le h264, ogg vorbis, aac (et les conteneurs .ogm, mkv...)
Seul un bon programmeur motivé saura rajouter leur support (sms est open-source donc tout reste possible...)
ps: pour connaitre les propriétés de ta vidéo, tu peux utiliser mediainfo ^_^