Über den Ursprung der Burg von Marmaris wird unter Archäologen kontrovers diskutiert. Vermutet wird, dass die Festung zuerst während der „ionischen Kolonisation" (um 1044 v. Chr.) erbaut und später in der Zeit von Alexander dem Großen zum ersten Mal renoviert wurde. Als gesichert gilt, dass die Byzantiner in der Burg eine kleine Garnison unterhielten.

Belegt ist jedoch, dass die Burg unter Sultan Süleyman dem Prächtigen erneuert und erweitert wurde. Er hatte in der geschützten Bucht von Marmaris seine Armada zusammengezogen.
Nach einer örtlichen Legende bedeutet der Name der Stadt "Vier erhängte Architekten". Er rührt aus der Entstehungsgeschichte der prägenden Burg her. Der damalige Sultan -Süleyman der Prächtige- befahl 1522 nach seinem Sieg über Rhodos seinen vier Architekten eine Burg zu bauen, die man selbst noch in Rhodos sehen könnte. Es entstand aufgrund des zur Verfügung stehenden Geldes eine relativ kleine Burg, was den Sultan dermaßen erboste, dass er bei der Rückkehr von einer Expedition nach Rhodos beim Anblick des Kastells „Mimar äs!“ ausgerufen haben soll, was so viel heißt wie „hängt die Architekten auf“! Es gibt hierfür aber keine verbriefte Quelle.

Im Jahre 1958 wurde Marmaris durch ein Erdbeben fast völlig zerstört. Als eines der wenigen historischen Gebäude wurde die Burg Marmaris Kalesi kaum beschädigt. Bis in die 1970er Jahre dienten die verbliebenen Räume als Stallungen und Lagerräume. In den Jahren 1980 bis 1990 wurde die Burg restauriert und in ein Museum umgewandelt. Heute ist Marmaris zu einem teuren Touristen - Hotspot geworden. Die Burg ist ein beliebtes Ziel der internationalen Touristen.