Die lateinische Bezeichnung der Stadt lautet Trapezunt(um). Um das 7. Jahrhundert v. Chr. von griechischen Siedlern gegründet, ließ der römische Kaiser Hadrian Anfang des 2. Jahrhunderts einen künstlichen Hafen anlegen und die Stadt ausbauen. Die im Mittelalter und bis zum Ersten Weltkrieg geschäftige Handelsstation an der Seidenstraße gehörte von 1204 bis 1461 zum Kaiserreich Trapezunt. In dieser Zeit entstanden fast alle historisch bedeutenden Bauwerke.

Die gesamte Festungsanlage ist nach einem von der Küste landeinwärts gerichteten schmalen Hügelgrat aufsteigend in drei Bereiche gegliedert, die „untere Festung“ (Aşaği Hisar), „mittlere Festung“ (Orta Hisar) und „obere Festung“ (Kule Hisar, oder „innere Festung“, Iç Kale) genannt werden. Neuere Funde lassen darauf schließen, dass eine erste Besiedlung des Hügels bereits im 2. Jahrtausend v. Chr. erfolgte. Der älteste Teil der heutigen Stadtmauer stammt aus der römischen Zeit des 4. Jahrhunderts. Sie fungierten jedoch nicht als Burg, sondern als Stadtmauer der Akropolis. An wenigen Stellen ist die überbaute ältere Umfassungsmauer der römischen Akropolis aus dem Ende des 1. oder dem 2. Jahrhundert n. Chr. noch zu erkennen. Damals wurden große, sorgfältig behauene Steine ohne Mörtel aufeinandergeschichtet.

Während eines Bürgerkrieges im 17. Jahrhundert wurde die obere Festung zerstört. Erhalten blieb die unter Alexios II. (reg. 1297–1330) neu erbaute Festungsmauer in ihrem westlichen Teil, die sich auf der Felskante oberhalb eines tief eingeschnittenen Quertals erhebt. Laut einer Inschrift wurde sie 1324 vollendet. An der Stelle der Oberburg (Zitadelle) dehnt sich heute ein modernes Wohngebiet mit mehrstöckigen Neubauten weit den Hang hinauf. Die heute erhaltenen Strukturen der Zitadelle stammen aus der Zeit des Kaiserreichs Trapezunt.