Le prime notizie storiche su San Giovanni Rotondo risalgono ad un diploma del 1095 con cui il Normanno conte Enrico conferma ad Alessandro, abate di San Giovanni in Lamis, i possedimenti assegnatigli tra cui il casale di S. Giovanni Rotondo. Nel 1220 Federico II, tolse San Giovanni Rotondo dalle dipendenze dell’Abbazia di San Giovanni in Lamis, e lo dichiarò casale di Regio Demanio. Per meglio difenderlo fece costruire una cinta muraria alta circa sette metri e spessa due. Rafforzo la cinta con la costruzione di quindici torri di altezza variabile dai quindici ai diciassette metri. Tre di queste torri sono tuttora esistenti.

Una è di forma cilindrica, le altre sono invece tutte quadrangolari. Le numerose torri rimaste, trasformate in abitazioni e semisoffocate tra le case, i conservano a circa metà dell’altezza, feritoie e balestriere. Il casale era provvisto di una gran torre, chiamata per le sue dimensioni impropriamente castello, che difendeva la porta maggiore, una delle quattro delle di accesso al casale. La più piccola di tutte attualmente distrutta, era la “Portella” esposta a levante. Quella di Ponente o del Lago fu demolita nel 1876. L’ultima è la porta presso la torre di Comuni o Porta di Suso esposta a Nord-Ovest di forma quadrangolare che mostra alla base il largo arco della porta d’ingresso.