Isto realmente depende do tipo de placa gráfica VESA 2.0 compatível que você tem em seu sistema, e da quantidade de memória de vídeo disponível; é só questão de testar quais modos funcionam melhor para a sua placa gráfica.
A tabela a seguir mostra o números dos modos que você pode colocar no prompt do VGA (atualmente estes números são somados a 0x200 para fazê-los mais fáceis de fazer referência a tabela):
Colours 640x480 800x600 1024x768 1280x1024 1600x1200 --------+--------------------------------------------- 256 | 0301 0303 0305 0307 031C 32,768 | 0310 0313 0316 0319 031D 65,536 | 0311 0314 0317 031A 031E 16.8M | 0312 0315 0318 031B 031F
Por conveniência, aqui está a mesma tabela em termos decimais:
Colours 640x480 800x600 1024x768 1280x1024 1600x1200 --------+--------------------------------------------- 256 | 769 771 773 775 796 32,768 | 784 787 790 793 797 65,536 | 785 788 791 794 798 16.8M | 786 789 792 795 799
[O autor não seria feliz se pudesse completá-la com números 03xx adicionais em modos adicionais, isto é, 1152x900?]