Il fut construit en 1598 non loin du cap du Figuier dans l'intention de lutter contre la piraterie. Il était de plan rectangulaire. Ses côtés orientés vers la mer formant une batterie d'une capacité pour cinq canons. Le reste du château est constitué par deux constructions rectangulaires, perpendiculaires entre elles, jointes par l'un de leurs petits côtés à un édifice quadrangulaire plus élevé.
En 1755 le roi Ferdinand VI ordonna de construire "...hors les murs de la Place de Fuenterrabia un magasin rudimentaire pour y transporter la poudre actuellement gardée dans les magasins qui se trouvent sur ladite place...", choisissant pour emplacement le château de San Telmo "... pour être le parage le plus indiqué pour ce faire comme pour le double bénéfice... de rétablir ce poste que l'injure du temps et un incendie avait pratiquement mis en ruine, sa conservation convenant d'autant mieux que sa batterie défend le mouillage de cette baie..."
A la structure décrite ci-dessus il ne fut rajouté qu'un mur dont la mission était d'isoler de l'extérieur les deux pans de la tour qui faisaient partie du périmètre du château. Ce mur fut doté de deux guérites de surveillance et d'un petit secteur percé de meurtrières.
Située dans le mur méridional, l'entrée donne accès à un étroit passage qui débouchait sur la porte primitive. Gravée sur son linteau, sous les armes royales, on peut lire "PHILIPVS II HISP INDIAR Q REX / AD REPRIMENDA PIRRATARVM I LATROCINIA / HOC SANTERMI CASTELLUM EXTTUERE MANDANIT / ANO DOM -MDXCVIIII / SIENDO DON JVAN VELAZQUEZ CAPN GN DE ESTA PROA". De nombreuses années durant, le château a servi de demeure privée.