Selçuk Kalesi wurde auf dem Hügel Ayasoluk errichtet, auf dem sich vermutlich bereits in hethitischer Zeit eine Siedlung befand. Ob diese mit dem in hethitischen Quellen erwähnten Apasa, der zeitweiligen Hauptstadt von Arzawa, identisch war, ist umstritten. Ausgrabungen auf dem Ayasoluk-Hügel zeigten, dass es von der frühen Bronzezeit bis zur hellenistischen Zeit eine kontinuierliche Besiedlung gab. Dies beweist, dass sich der antike Ephesus auf dem Ayasuluk-Hügel befand.

Nachdem im siebten Jahrhundert n. Chr. der Hafen von Ephesos zum wiederholten Mal verlandet und die Stadt durch Einfälle der Araber bedroht war, verlagerten die Byzantiner den Ort erneut auf das Gebiet um den Hügel, wo im sechsten Jahrhundert die Johanneskirche errichtet worden war.

Das Baudatum der Festung lässt sich nicht exakt rekonstruieren, doch kann aus der Art des Mauerwerks auf eine Erstellung im sechsten Jahrhundert, also in byzantinischer Zeit, geschlossen werden. Das Bauwerk wurde, wie auch die Stadt, später von den Seldschuken übernommen, die die Burg zu einer byzantinisch-seldschukischen Mischanlage umbauten.

Die Zitadelle wird von einer nach oben mit einem Zinnenkranz abgeschlossenen Ringmauer umfangen. Die ringsum begehbare Mauer ist durch 15 Türme verstärkt und hat im Süden und Norden je ein Tor. Im Innern befinden sich mehrere Zisternen, eine byzantinische Kirchenruine sowie eine Moschee aus seldschukischer Zeit. Der größte Durchmesser der Anlage beträgt in Nord-Süd-Richtung etwa 160 m.