Подскажите,каким кодеком в VirtualDub или подобных программах нужно сжимать видео, чтобы оно проигрывалось на телефоне Нокия (ОС Symbian s60)?

Лично я использовал прилагаемое к самой нокии ПО. (Nokia OVI suite) Оно всё делает само.

В том-то и дело, что я не хочу пользоваться этой программой, т.к. она предлагает делать много ненужных вещей, занимает оперативную память и создает ненужные записи в "Моем компьютере". Хочу использовать для сжатия видео VirtualDub

ffmpeg
http://iar.spb.ru/3gp-ffmpeg

Formatfactory найти надо. Бесплатная, очень полезная и понятная вещь.