Per eliminare la Toolbar, ti suggerisco di agire -come ha detto Mao- da Pannello di Controllo.
In pratica, "disinstallando" AVG, ma poi scegliendo -in luogo della vera disinstallazione- di "cambiar dei componenti.
Dovrebbe ritornar la serie di schermate di installazione.
In quella che propone gli elementi da installare, clicca sul segno + che vedi accanto alla voce Link Scanner.
Ti apparirà la voce relativa alla AVG Search: togli la spunta che ci troverai.
Nella schermata successiva (se non sbaglio) oppure in quella ancora dopo (onestamente, non ricordo), dovresti trovare una voce (con annessa spunta) relativa anch'essa alla Toolbar di AVG: togli anche quella spunta.
Se quel che t'abbiam suggerito non dovesse corrispondere e funzionare... allora dovrai disinstallare AVG completamente, poi riavviare il computer e quindi (dopo l'avvenuto riavvi) re-installarlo.

Come firewall, ti suggerisco Outpost 2009 Free (scaricabile anche da Aiutamici). Leggiti molto attentamente le ottime spiegazioni di Alfonso.
Se preferisci un Firewall in lingua italiana, è molto buono Online Armor (anch'esso scaricabile da Aiutamici).