Il Castello rappresenta uno dei monumenti storici più importati di Monte Sant’Angelo. Posizionato a 840 m s.l.m. nel punto più alto attorno al quale si è sviluppata successivamente la città, è stato probabilmente il nucleo primitivo dell’abitato, costituendo così un esempio di città castello. Il Castello ha una planimetria irregolare che ricorda una forma romboide, adattata alla piattaforma rocciosa, sulla quale sono state costruite le possenti opere: ponte levatoio, cinta muraria protetta da un fossato, magazzino, cisterne, forno, cucine, corpo di guarda, torrioni con feritorie e muri di difesa, salone di rappresentanza, appartamenti residenziali e dormitori

per la servitù. La parte più antica è rappresentata dalla Torre dei Giganti alta 18 metri, con muratura spessa 3,70 metri, pentagona, irregolare, con lati di misure differenti. Le prime notizie storiche riguardo alla edificazione del castello riportano al tempo di Orso I (837-838), eletto vescovo di Benevento, sotto papa Gragorio IV. Orso I avrebbe costruito ex novo il castello, come si legge in un diploma del 979, dove il Principe Pandolfo conferma a Landolfo II, arcivescovo di Benevento, la chiesa di S. Michele << Simulque cum integro ipso castello>>. Con i Normanni il Castello divenne il centro di tutta l’organizzazione difensiva del Comitatus. Ma la sua importanza non si esauriva nella sola funzione militare, esso era sede amministrativa e giudiziaria di un esteso territorio, oltre che fortezza in caso di guerra. Tra le 18 città fortificate della Capitanata, nel periodo svevo, Monte Sant’Angelo, insieme a Lucera, era fra le più munite. E pertanto il suo castello era stato da Federico II, come risulta da un suo ordine del 1239, annoverato tra i “castra exempta”, ovvero privilegiati: il suo castellano doveva essere nominato ogni volta esclusivamente dall’imperatore.

A questo periodo risalgono la torre dei Normanni e la sala del tesoro, larga 10 metri e lunga 11, con quattro volte a crociera e un pilastro centrale. Era questa la sala di rappresentanza del castello; attualmente è forse la meglio conservata. Seguirono gli Aragonesi, che tra il 1491 e 1493 rinforzarono il castello facendo costruire tre massicce torri circolari merlate poste agli estremi del lato Sud. Con il trascorrere dei secoli la vita del Castello si è andata sempre più riducendosi, fino ad arrivare al 1752 quando la custodia fu affidata a soli due sacerdoti e quattro guardiani.. Nel 1802, per volere di Ferdinando IV di Borbone, il maniero fu affidato al Cardinale Ruffo, e successivamente al principe di Sant’Antimo, il quale lo affitto ad alcuni caprai, che lo smantellarono e lo utilizzarono come ricettacolo per capre e pecore, finché lo stesso principe lo alienò al Comune di Monte Sant’Angelo nel 1888. Recenti studi e interventi di restauro hanno permesso, hanno permesso di rinvenire tracce di sepolture lungo il fossato della fortezza, databili intorno all’VIII-VII secolo a.C. che fanno ipotizzare la costruzione del Castello su di una preesistente necropoli dell’età del Ferro. Successivamente il castello ha vissuto un totale abbandono, tanto che per lunghi periodi è stato utilizzato come ricettacolo per caprai e pastori.