salve
il comportamento che descrivi, probabilmente è causato da un componente che viene caricato all'avvio di Outlook. Quando chiudi Outlook potrebbe succedere che un componente non si chiuda e rimanga in esecuzione. In questo caso anche il processo di Outlook rimane in esecuzione anche se la finestra non è più visibile.
Controlla quali componenti vengono caricati in "Strumenti">"Centro protezione">"Componenti Aggiuntivi"
andando per tentativi prova a disabilitarli e riabilitarne uno alla volta.
Da non escludere eventuale interferenza di un antivirus che abbia settato come attivo il Plugin di Office.
saluti
Andrea