Se trata de una pequeña ermita construida sobre los restos de un antiguo castillo y se sitúa en la sierra de la Virgen del Castillo. Su origen es un recinto fortificado de origen árabe que está formado por algunas dependencias, un torreón y un aljibe. Asimismo, el pavimento interior se encuentra empedrado. La utilidad del castillo era la de mantener la frontera entre el norte cristiano y el sur árabe.
Tradicionalmente, se dice que los caballeros de la Orden de Calatrava, una vez que habían ocupado el Castillo de los Cristianos, trajeron una imagen de la Virgen del Castillo, patrona de Chillón.