Il Castello di Vieste è situato all’estremo Sud-Ovest dell’abitato alla sommità di uno sperone a strapiombo sul mare. Il complesso fortificato è a una pianta triangolare, guarnito, agli spigoli nord, est ed ovest, da altrettanti bastioni pentagonali. Le mura perimetrali della costruzione, alte più di tre piani, sono scarpate con forte angolazione in modo da presentare minor bersaglio al tiro diretto dei navigli assalitori. Sul prospetto nord-est il meglio conservato e più saldo è posizionata la porta principale, alla quale vi si accedeva un tempo, tramite un ponte levatoio. Il bastione nord-est è diviso in due piani occupati da due saloni con volte a cupola che sono in realtà casematte con le cannoniere rivolte verso il mare e la caratteristica apertura circolare al centro della cupola, quale sfiatatoio del fumo delle cannonate.

L’interno del Castello è costituito da tre ali di fabbrica che circoscrivono un cortile triangolare. Dal cortile si sale sopra il bastione attraverso una rampa oggi a gradoni, in passato rotabile per facilitare il trasporto dei cannoni. Il materiale da costruzione è il tufo locale misto a pietra calcare. Tutta la costruzione, richiama per taluni l’architettura rinascimentale, quali gli archi sopra le finestre e sopra le porte. Secondo la storiografia locale il nucleo originario del Castello fu una regia fortezza costruita da Federico II di Hohenstaufen nel 1240, facente parte della catena di fortificazioni federiciane situate lungo la costa adriatica.

Le parti dell’antica costruzione sveva furono incorporate e trasformate. Pare che per due volte il castello abbia ospitato l’Imperatore Federico II, nel settembre 1240 e nel gennaio 1250. Ma tutto l’attuale complesso difensivo fu fatto costruire nel 1537 dagli spagnoli al tempo del vicerè di Napoli Pietro da Toledo; fu poi restaurato ed ampliato dal vicerè Parafan de Rivera nel 1559. Nel 1840 il castello venne disattivato, con il conseguente ritiro delle truppe. Oggi il complesso fortificato è sede di un distaccamento della Marina Militare.