Son nom signifie les châteaux des faucons et ce en raison de la tradition ancestrale de la chasse au faucon. C'est une activité que l'on retrouve dans plusieurs villes comme Mahdia, ville qui ne se situe qu'à 12 kilomètres de Ksour Essef. Ce nom est attribué à ces lieux après les conquêtes islamiques. La ville existe avant le III^e siècle.

La date de la création de cette ville coïncide avec l'arrivée des Hilaliens en 1050. La ville prend de l'importance après les conquêtes islamiques. Une partie de la population est d'origine berbère et la majorité est d'origine arabe.