Gut, um weitere Fragen auszulassen, hier mal der gesamte Vorgang.
Zuerst nutzt du VirtualDub (VirtualDubMod geht auch), um alle Teile zusammenzuschmeißen. Wichtig dabei ist, dass du Direct Stream Copy wählst, da das Material sonst decodiert vorliegt und wie du schon herausgefunden hast, es gut und gern an die 100 GB reichen kann.
Danach musst du noch die Tonspur mit (am einfachsten) VirtualDubMod heraustrennen. Das zusammengeschnittene Video also öffnen, Streams -> Stream list wählen, die Audiospur selektieren und auf Demux/Save WAV klicken (je nachdem, ob das Material schon kodiert vorliegt; Fraps sollte afaik in Multichannel WAV aufnehmen, wodurch es egal, welchen der beiden Knöpfe du nimmst).
Als nächstes ist erst einmal die Tonspur an der Reihe. Dazu im Hauptfenster von MeGUI unten die Audiospur einfügen und das passende Audioprofil mit passendem Codec wählen (achte darauf, ob du Mehrkanalton haben willst oder ein Downmix auf Stereo stattfinden soll, mehr dazu auf dem Knopf Config). Anschließend auf Enqueue drücken und erstmal die Tonspur umwandeln lassen.
Danach erstellst ein neues AVS Script (Tools -> AVS Script Creator), öffnest die AVI, stellst alles benötigte ein (falls du resizen willst, gehst du auf Filters -> Resize Filter und stellst dort entweder auf Lanczos oder Spline, welche die besten Resultate bringen). Nun gehst du zurück auf den Reiter I/O und stellst ggf. die gewünschte Auflösung bei Resize ein. Bedenke, dass manche Codecs nur eine Höhe oder Breite mögen, welche durch einen gewissen Faktor teilbar ist. Bei XVid ist dies glaub ich der Faktor 4, bei x264 ist der Faktor 16 von Vorteil. Im Prinzip heißt dies nur, dass wenn du eine Seite durch den Faktor teilst, kein Rest vorhanden sein darf. Falls das nicht der Fall ist, bricht der Vorgang ab und du bekommst keine Ausgabedatei. Wenn alles korrekt ist, klickst du auf Save und das Script wird automatisch im Hauptfenster eingefügt.
Ist das fertig, gehts an das Video: Das soeben erstellte AVS Script wird automatisch eingefügt und du wählst dein gewünschtes Profil. Anschließend auf Tools -> Bitrate Calculator. Alle Infos zu dem Video werden automatisch ausgefüllt und du musst nur noch die komprimierte Audiospur einfügen, damit diese bei der Größe berücksichtigt wird. Rechts wählst du dann nur noch den Container aus, sowie darunter deine Kriterien für das abschließende Video. In deinem Fall wählst du Total File Size und aus dem Dropdown-Button die gewünschte Größe. Ggf. Select size wählen, falls du eine Größe willst, die nicht bereits gelistet wird. Ein Klick auf Apply und eine Bestätigung von OK, damit die Einstellungen in dein gewähltes Profil kopiert wird. Zum Schluss nur noch ein Klick auf Enqueue und die Warteschlange starten.
Zu guter Letzt wählst du Tools -> Muxer -> MP4 Muxer und dort wählst du alle komprimierten Spuren aus. Wieder ein Klick auf Queue, die Warteschlange abarbeiten lassen und dein Video ist fertig.
PS: Ein Kasten Bier wäre gut.