La Torre del Passerino o Bonaccolsi costituisce l’edificio più antico attualmente esistente nel complesso palaziale. La struttura architettonica è caratterizzata dalle tipiche merlature ghibelline (rifatte intorno al 1820), che dimostrano l’originaria funzione prettamente difensiva dell’edificio e come molte torri di avvistamento è orientata precisamente secondo i quattro punti cardinali.
Alta circa trenta metri, è suddivisa in cinque piani che originariamente dovevano essere intercomunicanti.