La fortaleza de Puerta de Arenas se encuentra situada en un lugar clave de esta parte del sistema montañoso de las Sierras Subbéticas, entre las tierras de Jaén y Granada, y controla de cerca el paso del río Guadalbullón. Ubicada dentro del término municipal de Campillo de Arenas. No se conoce la fecha exacta de su construcción, aunque el profesor Vicente Salvatierra ha establecido que existen vestigios que proceden del siglo X, en pleno dominio musulmán en España.
Es más que probable que, con otro nombre, fuera una de las fortalezas que los rebeldes muladíes de las Barayila construyeran para su refugio y defensa, y que fueron finalmente reducidas por las tropas de Abderraman III. Es a partir del siglo XIII, cuando se cuenta con testimonios escritos de la existencia del castillo.
Cuando el municipio comenzó a poblarse, allá por el año 1540, se cundió que en los alrededores del castillo la vida era muy productiva para todo aquel que decidiese instalarse, lo que provocó la llegada de personas de muchos lugares. Un buen día aparecieron dos hombres preguntando por el castillo de Arenas. Además, también requirieron la ayuda de un cabrero para que trabajase para ellos y a la vez le alimentase con leche, porque su intención era encontrar un tesoro, según unos planos a los que habían tenido acceso. Le propusieron al cabrero pagarle una cantidad de dinero por día trabajado, además de una parte del tesoro que habían comenzado a buscar frente a la torre redonda. Cavaron durante varios días y el tesoro no aparecía por ningún lado.
El cabrero les dijo que en cierta ocasión también oyó hablar de un tesoro junto a los alcázares, aunque nadie había dado crédito a la noticia, lo que les llevó a seguir cavando en este lugar del castillo. Pero allí tampoco encontraron nada. También lo intentaron en una cueva que miraba al pueblo y en la que había fosos tapados, que una vez destapados tan solo hallaron restos de cerámica. Se sentaron fuera de la oquedad, en una losa, y desde allí vieron una tinaja, más adentro, en la que encontraron un pergamino que decía lo mismo que en su mapa: frente a la cabeza del toro está el tesoro.
Entusiasmados comenzaron a cavar en los alrededores, pero seguía sin aparecer, lo que provocó la ira del cabrero que decidió abandonarles. Desesperado cogió el azadón y dio en la piedra cabeza del toro y enseguida salió el tesoro. Nunca se supo más de estos dos hombres.
