Xivert formaba parte de la antigua red musulmana de lugares fortificados, custodiando el tramo norte del camino hacia Valencia. Por su interés, fue otorgada a la orden de los Templarios en 1169, cuando fue conquistado por Alfonso II, y se rindió a los caballeros después de la caída de Peñíscola, en 1234, año en que fue otorgada la Carta Puebla a la aljama, la cual permanecerá en progresiva languidez hasta la expulsión de los moriscos en 1609.
El castillo de Xivert está emplazado en lo alto de la sierra de Irta, en un enclave desde el cual domina el llano y el mar. Ha constituido un asentamiento para diferentes grupos humanos, al menos, desde el s. XIV-XIII a.C. hasta principios del s. XVII de nuestra era.
El Temple se estableció, convirtiéndose Xivert en cabeza de un partido que comprendía los nuevos asentamientos cristianos de Alcalà (1250), Alcossebre (1260), Almedixer y Castellnou (1260). En el mismo siglo, erigió una fortaleza interior en el recinto amurallado árabe. Después de su supresión, la herencia fue recogida por la orden de Montesa, la cual prolongó la pujanza hasta la decadencia del castillo en el siglo XV. Perdido todo su interés estratégico, fue abandonado al comenzar el siglo XVII.
El castillo conserva dos partes bastante bien diferenciadas: la árabe y la cristiana. La primera comprende el recinto amurallado externo, obra fechada en los siglos X – XI, de la cual destacan unos grandes lienzos en tapiado con coronamiento de merlones y que se abría por la puerta de Albacar. Dentro encontramos, todavía hoy, buenas muestras de la arquitectura doméstica de los moriscos.
La fortaleza islámica (siglo X hasta mediados del siglo XIII) se encuentra en buen estado de conservación aunque la remodelación del recinto superior en época cristiana nos impide conocer detalles de La distribución original. Consta de una línea defensiva exterior que envuelve y protege la alcazaba o alcázar, zona más elevada del conjunto, que está a su vez protegido por murallas y bastiones. La ocupación en planta del conjunto es de unos 8.000 m2. Entre ambas estructuras queda un espacio libre, el albacar, reservado para usos auxiliares de acogida de tropas o ganado.
La llegada de los cristianos en Xivert, obliga a los residentes a abandonar este espacio y trasladarse a un nuevo poblado morisco. El castillo cristiano (siglos XII al XVII) se caracteriza por reaprovechar la disposición general del castillo islámico, mientras se varía por completo la organización de los espacios internos. De esta época cabe destacar la imponentes obras de sillería, realizadas bajo el dominio de la Orden del Temple: las torres circulares gemelas y el aljibe de la plaza de armas con bóveda de medio punto con unas medidas de 10,65 x 5,20 (medidas interiores) y 3,50 metros de altura. Estas obras fueron ejecutadas en sillería de una gran calidad.
Muy interesante es la inscripción árabe del muro sudoeste: “para el reencuentro de Dios”.
En la cima se levanta la fortaleza templaría, que cuenta incluso con capilla, espaciosas dependencias, establos… así como con diversas torres. Son notables la parte sur con las dos torres circulares y el muro, obra de piedra labrada, como también lo es la cisterna para proveer de agua el castillo, con la vuelta rebajada
