La ermita de Santa Ana, como es norma general en este tipo de construcciones, estaba situada a las afueras de la población. Su construcción, probablemente surgió de la iniciativa popular, se efectuó durante el primer tercio del siglo XVI. Además de la construcción de la propia ermita, se llevó a cabo de manera paralela, la edificación de la vivienda del ermitaño o “santero” que era el encargado de cuidar del edificio y de los bienes que en él se contenían.
Según el trabajo de D. Antonio Verdejo Martín La cofradía y la ermita de Santa Ana de Íllora, aunque las obras de construcción y continuas reparaciones fueron muy dilatadas en el tiempo, el culto se practicaba en la ermita desde los primeros momentos, e incluso fue lugar de enterramiento de varios vecinos de la villa.
El edificio que probablemente fuese de planta rectangular, tenía estructura abovedada y contaba con una torre que contenía una campana grande y un cobertizo, y en frente de la ermita, se localizaba una cruz de madera y un pozo cubierto. En numerosas ocasiones la ermita hubo de ser reparada, hasta que en el año 1766 se derrumbó aunque su reconstrucción se realizó poco después, entre 1770 y 1774.