Bella domanda!
Allora
1) se usi un programma come Dreamweaver o nvu1.0 (nvu1.0 è della mozilla ed è gratis, lo scarichi da
www.mozillaitalia.it) ti basta creare un modello da applicare alle pagine; modificando il singolo modello modifichi tutte le pagine.
2) se ti destreggi nel codice e usi i fogli di stile CSS basta che metti tutto ciò che è in comune in un file CSS e quindi poi andrai a modificare solo questo.
3) conosci un linguaggio di script tipo PHP? allora usa include();
altrimenti armati di santa pazienza e modifica pagina per pagina amen.