Al llarg del segle XVI les poblacions de la costa van prendre mesures per a defensar-se de les incursions dels corsaris turcs: D'aquesta forma va iniciar-se la construcció de torres de guaita. El poble de Caldes està perfectament envoltat i vigilat per les torres de guaita, la Torre dels Encantats, la Torre Busquets i la Torre de les Heures. Totes tres són de planta circular i, en el cas de la dels Encantats i la Busquets, existeix una llegenda, amb princesa inclosa, que ha donat peu als noms dels gegants de la vila, Fàtima i Busquets.

La Torre dels Encantats pot tenir el seu origen a mitjans del segle XI. Alguns autors creuen en la possibilitat que fos construïda a partir d´una fortificació que ja existia en aquesta data. En el segle XVI se li va adossar la muralla circular que encara avui la caracteritza. Ja al segle XIX, es va utilitzar com a estació intermèdia de la xarxa de telègrafs  òptics.

El nom d´aquesta torre el determina una llegenda molt popular a Caldes, divulgada per J. Salarich. Fa molt temps, els habitants de la població van començar a veure formes fantasmagòriques que passejaven pels voltants de la torre. Però aquestes aparicions eren fantasmes, si no que es tractava als membres de l´escolta de la princesa  sarracènia Fàtima, que havia acudit a Caldes per curar-se d´una terrible malaltia. Fàtima baixava amb un seguici a prendre les aigües, vestint tots ells robes blanques que els hauria atorgat aquest aspecte misteriós i fantasmagòric.

Segons la llegenda, Fàtima coneixia les qualitats de les aigües de Caldes per la seva esclava Elionor, capturada per una expedició de corsaris que van saquejar la població. La seva bellesa va impedir que fos maltractada pels pirates i va ser atorgada com esclava a la princesa Fàtima, que patia de lepra. Els metges no trobaven remei a la seva malaltia i Elionor, que s´havia guanyat la confiança de la princesa, li va recomanar els banys termals de la seva població. Així va ser com Fàtima va viatjar fins a Caldes acompanyada d´Elionor i es van allotjar a la torre que quedava als afores de la població. El tractament va resultar tot un èxit i la princesa no tan sols va curar la seva malaltia, sinó que també ca esdevenir una persona molt més afable, generosa i benèvola. Com a mostra d´agraïment de la princesa Fàtima  a Caldes, va conèixer un distingit ciutadà, Busquets, de qui es va enamorar i amb qui es va acabar casant. Busquets està vinculat a l´altre torre de vigilància, la Torre Busquets.

Avui aquesta llegenda esdevé un testimoni de les propietats de les aigües termals que des de temps passats han atret molts visitants a Caldes d´Estrac.  Per recordar-ho, Fàtima i Busquets són actualment els personatges que representen els gegants de la població.