Nel 1229 gli armati del comune distrussero il castrum Civitellae, posto a breve  distanza  dal nucleo abitato  di  Civitello, che  ne  continua  la  memoria,  e costrinsero Defensore, conte  di Civitella,  i suoi famigliari e alcuni  suoi seguaci a costruire le proprie abitazioni all'interno delle mura cingolane.

Così come si presenta oggi, palazzo Conti, erroneamente detto del podestà in alcune vecchie guide, può farsi risalire alla fine del sec. XIV o all'inizio del XV. 

Sulla chiave di volta dell'arco a sesto acuto del portone era scolpito lo stemma di famiglia: un volo nero in campo d'oro; fu cancellato, presumibilmente, durante l'occupazione francese della fine del '700.