Il palazzo Baronale, è situato sulla parte più alta del centro storico di Cagnano Varano a 165 m s. l. m., e si affaccia sulla antica strada Coppa (attuale Corso Giannone). In passato per la sua posizione dominante costituiva il fronte occidentale dell’abitato, oltre il quale c’erano i campi. Il palazzo presenta una forma quadrangolare con due torrioni circolari sul lato orientale, ha una corte centrale, intorno a cui si sviluppa il fabbricato. Per accedere alla corte interna, si attraversa un corridoio con volta a botte in differenti stili.

Il lato orientale del Palazzo Baronale si affaccia su Largo Purgatorio ed è antistante all’ex chiesa omonima che, insieme a quella di Santa Maria della Pietà e a San Giovanni, costituivano gli edifici di culto situati un tempo entro le mura dell’abitato. Il Palazzo per molti secoli è stato dimora di feudatari, conti, principi, duchi e baroni, anche se essi non risiedevano stabilmente qui. Tra il XVII e il XVIII secolo potrebbe risalire l’edificazione del Palazzo Baronale così come lo vediamo oggi, allorquando il feudo era diventato ducato. Gli ultimi proprietari del Palazzo Baronale furono i Brancaccio di Napoli con il titolo di principi di Carpino e duchi di Cagnano. I Brancaccio non risiedevano stabilmente a Cagnano.Alcuni locali del palazzo, nel XIX secolo cominciarono ad essere concessi in affitto al comune, per svolgere funzioni di segreteria, di vigilanza, di carcere, di pretura, di scuola, di alloggio per gli ufficiali di truppa di presidio. Fino al 1879 il Palazzo fu sede di Prefettura, delle Carceri e di alcuni uffici del Municipio.