Un' altro monumento che possiamo trovare a Calatafimi sono i resti del Castello Eufemio (o Castello di Phimes) , sito su un colle che sovrasta l'intera città.
Vi sono importanti fonti storiche , come quella del geografo arabo Edrisi , che nel XII secolo lo definì così : "Castello antico, primigenio, e fortilizio niente spregevole".
Esso fu dimora delle più importanti famiglie borghesi della città , fino al XVII secolo quando poi fu adibito a prigione.