Şehrin asıl adı “Kara kale” anlamına gelen Karahisar’dır. Anadolu’da sert bazalt ve trakit kayaların üzerine kurulmuş kalelere bu adın verildiği çok görülür. Afyonkarahisar’daki kalenin yanındaki şehir de bu adla, yani Karahisar diye anılmıştır. Karahisar’ın başındaki Afyon kelimesi ise, binlerce yıldan beri o bölgede yetiştirilen haşhaş bitkisinden (afyon) gelmektedir.
Osmanlı ve Selçuklu dönemlerinde şehre Karahisar-ı Sahip, yani Sâhip Karahisarı denirdi. Bu ad, 13. yüzyılın ikinci yarısında şehirde oturan ünlü Selçuklu beylerinden, Sâhip Ataoğulları’nın isimlerinden gelmekteydi. Ama halk, yine de şehre Afyonkarahisarı derdi. Zira, Anadolu’da bugün bile kadar “Karahisar” vardır. Cumhuriyet döneminde şehre Afyonkarahisar, ya da Afyon denmiştir.