Peschici è il centro abitato più settentrionale della Puglia continentale. Il centro storico sorge su una rupe di oltre 70 metri da cui si domina la costa da Manaccore, a levante, fino a Rodi e oltre a ponente. L’abitato si è sviluppato dalla rupe verso l’interno, sul crinale e, non potendo sfruttare spazi piani, sono partite strade a gradoni e vicoli a scalini che scendono rapidamente. Il borgo originario sorse intorno all’antico Castello, e si cinse di una prima cerchia muraria, il Recinto Baronale. Un’ulteriore cinta muraria doveva chiudersi all’altezza dell’innesto di via le Ripe con piazza del Popolo: lo testimonia una torre circolare parzialmente inclusa nell’abitato.

Con l’aumento demografico, verificatosi tra i secoli XVII e XVIII, si occupano gli spazi vuoti, poi si raddoppiano i piani abitativi; s’intasano piccoli vicoli fino ad utilizzare le mura. Tra il 1851 ed il 1901 con l’aumento della popolazione il centro abitato esce fuori dalle mura. Il Castello e la Torre del Ponte costituiscono per la loro importanza architettonica beni monumentali della Regione Puglia. Il primo d’impianto duecentesco, distrutto, rifatto nelle sembianze attuale nel XVIII sec. rappresenta il caposaldo del Recinto Baronale. La Torre del Ponte, la cui base a scarpata tronco-conica la indicherebbe come una costruzione angioina risalente al XIII-XIV secolo.