Die genaue etymologische Herkunft des Namens Ankara ist nicht bekannt. Pausanias berichtet, dass König Midas an der Stelle einen Anker gefunden haben und die Stadt dann dort dem Gegenstand entsprechend als Ankyra (griechisch für Anker) gegründet haben soll. Stephanos von Byzanz behauptet, die Galater hätten im Kampf gegen die Ptolemäer aus Ägypten nach dem Sieg einen Anker als Kriegstrophäe mitgebracht und diese Bezeichnung bei der Gründung der Stadt im Stadtnamen verewigt.

Es sind Münzprägungen mit Ankermotiv bekannt. Dagegen gibt es Hinweise, dass die Stadtbezeichnung schon seit den Phrygern oder gar den Hethitern in einer ähnlichen Form benutzt und später von den Griechen zu Ancyra umgewandelt wurde. Ähnlich wurde in der islamischen Zeit Ankaras die These aufgestellt, die damals Engürü genannte Stadtbezeichnung stamme von dem persischen Wort für Traube (engûr) ab, das sich auf die üppigen Weinanbaugebiete um Ankara beziehe.
Am 28. März 1930 erhielt die Hauptstadt anstelle der in der lateinischen Schrift bis dahin bei den Europäern und im Verkehr mit Europäern üblichen neugriechischen Namensform Angora die offizielle Bezeichnung Ankara. Die türkischen Namensformen waren Engüriye, Engürü oder Engüri; frühere Namensformen waren (alt-)griechisch Ankyra, lateinisch Ancyra, arabisch Anḳira und Anḳuriyya oder Ḳalʿat al-Salāsil, zu deutsch „Kettenfestung“.

Ursprünglich eine blühende phrygische Siedlung an der persischen Königsstraße, wurde es Zentrum des keltischen Stammes der Galater, die etwa 230 v. Chr. in Kleinasien siedelten. 189 v. Chr. wurde Ancyra von Gnaeus Manlius Vulso besetzt, blieb aber unter regionaler Herrschaft. 25 v. Chr. wurde es Hauptstadt der römischen Provinz Galatien.
Aus der Zeit erhalten geblieben ist der Augustustempel, die römischen Bäder und die Juliansäule. Bei der Teilung des Römischen Reiches nach dem Tode des Kaisers Theodosius I. im Jahr 395 fiel die Stadt an das Oströmische Reich, das später Byzantinisches Reich genannt wurde, und gehörte bis 1073 zu diesem. 620 eroberten vorrückende Sassaniden die Stadt und hielten sie sieben Jahre. Die Byzantiner machten die Stadt von 717–775 zum militärischen Hauptquartier ihrer Verwaltungseinheit Bukellarion.

Ankara wurde mehrmals von arabischen Truppen unter den abbasidischen Kalifen Hārūn ar-Raschīd (797) und al-Mu'tasim bi-'llāh (838) erobert und von den Byzantinern nach einigen Jahren wieder eingenommen. Die von den Byzantinern als häretische Gruppe bezeichneten Paulikianer konnten die Stadt kurz einnehmen (871), sie wurden wie die Truppen der Abbasiden (931) ebenfalls wieder zurückgeworfen.
Aus der byzantinischen Zeit stammen die eindrucksvollen Befestigungsmauern der Zitadelle sowie die in den Augustustempel eingebaute Kirche, von der noch die Apsis und die kleine Krypta erhalten sind.

Mit dem endgültigen Sieg der von Kemal Atatürk geführten Truppen im Türkischen Befreiungskrieg wurde Ankara wegen seiner Lage in Zentralanatolien und in bewusster Abgrenzung zur osmanischen Hauptstadt Istanbul im Vorfeld der Ausrufung der Republik am 13. Oktober 1923 zur Hauptstadt erklärt. Als repräsentative Hauptstadt der jungen Republik musste zunächst die Infrastruktur bereitgestellt werden. Die Stadt war durch einen Brand 1917 größtenteils zerstört worden, die Umgebung war versumpft (Malaria war ein großes Problem) und hinzu kam ein stetiger Zustrom von Menschen. In acht Jahren (1920–1928) vervierfachte sich die Bevölkerungszahl von ca. 25.000 auf 100.000 Zur Neukonzeption wurde größtenteils auf deutsche Architekten zurückgegriffen, so basierte die grundlegende Stadtplanung auf einem von Carl Christoph Lörcher für 1924–1925 entwickelten Plan, der aber im weiteren Verlauf aufgrund stärkeren Zuzugs neu bewertet und von dem ab 1929 im türkischen Dienst stehenden Hermann Jansen im sogenannten „Jansen-Plan“ neu konzipiert wurde. Clemens Holzmeister errichtete das Parlamentsgebäude, mehrere Ministerien und Gerichtsgebäude sowie eine Villa für Atatürk.