El Castillo de La Palma formaba parte del proyecto defensivo de la Ría de Ferrol que se diseñó a finales del siglo XVI configurando un triángulo defensivo (“Triangulo de fogo”) con los de San Felipe al otro lado de la ría y el de San Martín en su misma orilla. Fue construido en la Punta da Redonda donde la ría de Ferrol se estrecha formando un angosto paso de menos de 600 metros de anchura. La construcción de planifica en 1596 pero la construcción a cargo de Pedro Rodríguez Muñiz se finalizó rápidamente pues ya estaban listos tanto La Palma como San Felipe para septiembre de 1597. Aquel primer castillo, conocido originalmente como Castillo de Nuestra Señora de La Palma, tiene poco que ver con la edificación actual que corresponde a la última reconstrucción realizada a finales del siglo XIX. La rapidez con que se construyó no hizo posible una obra de calidad y resistencia adecuada. Se utilizaron materiales pobres y el resultado final fueron obras débiles, quebradizas y propensas al desgaste. Más que un castillo era una batería baja y descubierta con forma de cuadrilátero irregular, con dos frentes abaluartados dispuestos hacia tierra y tres baterías con merlones que se abrían hacia el mar. El interior se articulaba en tres niveles situados a distinta altura, comunicados por rampas.

Pese a sus deficiencias, ya tuvo un papel destacado en la defensa ante el ataque de la escuadra inglesa del conde de Essex en el mismo año de su terminación, en 1597

A comienzos del siglo XVIII comenzó su transformación hacia un gran baluarte defensivo y estratégico para la defensa de la ría tras la importancia que cobra Ferrol cuando pasa a ser declarada en 1726 capital del Departamento Marítimo del Norte. En este periodo se realizan varios proyectos entre los años 1729 y 1732, de Montaigú y La Ferrière, que no modifican el perímetro primitivo, pero si se construyen en el lado de tierra dos baterías exteriores en la forma atenazada característica de los nuevos diseños del siglo XVIII. En cuanto al interior del recinto antiguo se construyen nuevas edificaciones entre ellas el polvorín.

Mas tarde a finales del siglo XVIII entre 1775 y 1792 se realizan nuevos proyectos de ampliación y reforma. Sería este fuerte junto a los otros dos del triángulo de fuego, el que tuviera que afrontar primero el ataque inglés en 1800 y luego el francés en 1809.

Hacia el mediodía del 25 de agosto de 1800, los vigías de la costa alertaron de la cercanía de una escuadra con pabellón francés, que les hizo sospechar que podría tratarse de una argucia británica para aproximarse a la costa haciéndose pasar por sus aliados. Sin embargo, las autoridades portuarias, entre ellas el comandante general del Departamento, Francisco Melgarejo, más pendientes de los festejos de la onomástica de la reina María Luisa de Parma, no le dieron importancia al asunto, pues por aquellas fechas era frecuente en la zona el tránsito de barcos de guerra. Por el contrario, el comandante de la flota estacionada, Teniente General Juan Joaquín Moreno, acudió a verificar la información, y él mismo observó entonces cómo fondeaban los británicos en las playas de Doniños y San Jorge. El vicealmirante John Warren venía al mando de un contingente de 7 navíos, 6 fragatas, 5 bergantines y una goleta. Un total de 21 buques de guerra protegiendo 86 transportes que contenían 15000 soldados, principalmente de infantería y caballería.

En nuestra ría estaban los navíos San Hermenegildo, Real Carlos, Argonauta, Monarca y San Agustín; las fragatas Mercedes, Asunción, Clara y La Paz; dos bergantines, el Palomo y el Vivo; 6 cañoneros y otros cuatro en Ares que vinieron rápidamente a defender Ferrol. En total, las tropas militares eran cerca de 2000 hombres y junto con los voluntarios no sumaban más de 3000; los refuerzos estaban en difícil posición para acercarse.

La situación social era realmente insostenible, pues los militares no cobraban desde hacía 5 meses, el hambre y la pobreza estaban presentes en la realidad de la ciudad y en general, nuestra plaza estaba desguarnecida. Al frente estaba el Conde de Donadío. Con una cierta perspectiva histórica hoy analizamos esta victoria como un triunfo del diseño estratégico y de la ingeniería militar disuasiva y defensiva, ya que la situación de las diferentes baterías costeras evitó cualquier plan de forzar directamente la entrada en la Ría o desembarcar en la contigua de Ares. Así pues, sólo cabría el acceso por las batidas playas del norte y superar el gran obstáculo de las montañas, siempre protectoras de Ferrol y donde partidas de milicianos hostigaron continuamente a los británicos en una guerra de guerrillas (los ingleses probaron por primera vez lo que los franceses años más tarde sufrirían en sus carnes por parte de los guerrilleros españoles).

A medida que llegaban refuerzos a Ferrol de Betanzos, de Coruña... eran embarcados en cualquier cosa que flotase en dirección a la Graña y a la Cabana con el fin de reforzar el frente de batalla.

La iniciativa fue de los ferrolanos, y se lanzaron por sorpresa al ataque, ante lo que cual los ingleses empezaron a retroceder. La intención posterior fue de nuevo envolver a las débiles, pero orgullosas tropas locales, que ante aquel retroceso se envalentonaron; pero cuando se observó que había movimientos envolventes, pronto se hizo una retirada, justo en el momento en que llegaba el Batallón Inmemorial y las Milicias Reales, que fueron un valioso apoyo para la retirada hacia la Graña.

Todo esto desconcertó, de manera definitiva a los ingleses, que giraron a la Cabana donde el fuego del bergantín el Vivo los sorprendió.

El día 26, tratando de cumplir el planeamiento de las operaciones terrestres, el ejército inglés intentó un golpe directo al castillo de San Felipe, con el fin de tomarlo y dejar indefensa la parte más artillada de la entrada a Ferrol. Efectivamente, el asalto por tierra se produjo por la mañana, concentrando el general Putney sus mejores fuerzas y efectivos de apoyo, del orden de unos 4.000 hombres. Después de varios ataques, siempre rechazados, llegó la definitiva retirada inglesa hacia los altos de Brión donde se reembarcaron como pudieron. En todo momento también continuaron hostigados desde el Castillo de La Palma, por unas lanchas cañoneras y las tropas de infantería españolas, tanto del ejército regular como de las milicias de paisanos armados.

La lucha en la Cabana, Vispón y San Felipe se hizo cuerpo a cuerpo, y detrás de cada rincón se apostaba un ferrolano, convirtiéndose en una guerra de guerrillas. Los refuerzos seguían llegando de Coruña, Ares, Betanzos... y atravesando en dirección a la Graña, la situación se hacía cada vez más angustiosa para los ingleses, que desde lo alto veían un trasiego continuo de contingentes desde Ferrol. La caballería inglesa fue deshecha entre la espesura del bosque. San Felipe fue sitiado por tres veces, centrando el enemigo la acción allí con cuatro mil hombres, pero la artillería hizo efecto en los invasores, y los vencedores, desde arriba, cogieron entre dos fuegos a los asaltantes. Éstos retrocedieron por fin desordenadamente. Al amanecer del 27 los ingleses empezaban a llegar a Doniños y a reembarcar como podían.

A media mañana, los supervivientes ponían rumbo a las costas británicas; en la noche del 26, Ferrol se engalana y se convierte en una apoteósica celebración de la victoria.

Este hecho mereció siempre el reconocimiento jubiloso de la historia local pero también el de los militares y gobernantes de la Nación, aun de los extranjeros; tal es el caso del conocido brindis de Napoleón en París: "Por los valientes ferrolanos". Esta victoria lo beneficiaba en el contexto de la guerra general que iniciaba con Inglaterra.

De aquella época son los versos populares: "Castillo de San Felipe prepara tu artillería que se acercan los ingleses por la boca de la Ría".

El castillo sufrió diversas reconstrucciones, datando la edificación actual de finales del siglo XIX. El Castillo de La Palma presenta una gran batería artillera a dos niveles de tipo acasamatado, con su principal frente hacia el oeste para artillería de retrocarga y con torres de dirección del tipo ópticas. Por la zona de tierra encontramos un largo foso en forma de línea quebrada y muros de largas filas de aspilleras. Todo el conjunto está realizado en magnífica sillería de granito.

Durante los últimos años, el castillo cumplió la función de cárcel militar y en él estuvo encarcelado, entre otros, el golpista y ex Teniente Coronel de la Guardia Civil, Antonio Tejero, uno de los principales cabecillas del intento de golpe de Estado el 23 de febrero de 1981 en España.

A principios del siglo XXI, fue adquirido por una cadena hotelera, pero se encuentra en estado de abandono y a la espera de que se apruebe la licencia para ejecutar las obras de restauración y acondicionamiento.