Hitit uygarlığı (İ.Ö. yılları arası) yıkılınca, onların yerini alan Urartu Krallığı (Van Gölü çevresi) buralara kadar yayıldı. Bu dönemlerde buraya Azzi ve Hoyasa gibi adlar verilmiştir. İ.Ö. 6. yüzyılda Pers İmparatorluğu İran ve Anadolu’ya yayıldığı gibi, egemenliğini Kafkas Dağları’na kadar uzatmıştı. Bölge Pers egemenliğinden sonra Makedonya yönetimine geçti. Büyük İskender’in adamlarından Flikos’un gümüş madeni bulması üzerine İskender buraya önem verdi. Daha sonra, kuzeydeki Hazar Hunları buralara Peçenek aşiretlerini yerleştirdiler. Peçenek Türkleri egemenlik kuramadı. Daha sonraları Gümüşhane bölgesi Bizanslılar ile Persler arasında çekişme alanı oldu. İ.Ö. 1. yüzyılda Roma’ya bağlandı. Bizanslılar zamanında İmparator Justinianus, Bayburt Kalesi’ni onardı. İran tahtına Sasaniler çıktıktan sonra da mücadele sürdü. İran asıllı Ermeni kralları bazen İran’a bazen Bizans’a bağlanıp bu bölgeyi idare ettiler. Çevrenin önemli şehri o zamanlar Paypert ya da Papert denen şimdiki Bayburt şehriydi. 1. yüzyılda Romalılar tarafından yaptırılan kalesi çok ünlüydü. Gümüşhane şehri o zamanlar sadece gümüş madeni çıkarılan bir köydü. 7. yüzyıl sonları ile 8. yüzyıl başlarında bölge Emeviler ve Abbasiler ile Bizanslılar arasında birkaç defa el değiştirdi.
Malazgirt () Zaferi’nden önce Oğuz Türkleri bu topraklara girmişti. yılında Büyük Selçuklu Hakanı Tuğrul Bey buraları egemenliğine aldı. Çevrede kurulan Danişmendoğulları ve Saltukoğulları beylikleri Anadolu Selçuklu Devleti’ne bağlı olmakla beraber, birbirleriyle burada çekiştiler. Bizanslılar 1. Haçlı Seferi’nden sonra Gümüşhane çevresini de ele geçirdiler. yılında Komnenos Hanedanı tarafından Trabzon’da yeniden kurulan Pontus İmparatorluğu bir ara Bayburt şehrini Türkler’den geri aldı. Fakat kısa bir süre sonra Danişmendoğulları Beyliği’nin hakanı Melik İsmail, Bayburt’u ele geçirdi. yılında Selçuklu Sultanı Alaeddin Keykubat Erzurum ile bu çevreyi başkent Konya’ya vilâyet olarak bağladı. İtalyan gezgini Marko Polo Bayburt’ta konakladığını yazmıştır. Selçuklular bölgenin en önemli şehri olan Bayburt’ta Mahmudiye Medresesi, Yakutiye Medresesi gibi yapılar bıraktılar. ’te İlhanlılar dağılınca çevrede Eretnaoğulları ile Celayirliler’in egemenlikleri birbirini kovaladı. Bunlardan sonra bölge Kadı Burhaneddin’in egemenliğine geçti, o, ’de öldürülünce, bölgeye Akkoyunlular egemen oldular. Timur’un kısa süren üstünlüğünden sonra II. Mahmut Akkoyunluları Otlukbeli Savaşı’nda yendi. Fakat bu topraklar ’te Yavuz Sultan Selim döneminde Osmanlı topraklarına katıldı. Şah Tahmasp’ın yılındaki seferi sayılmazsa Gümüşhane ’e kadar sakin bir dönem yaşadı. ’de Rus işgaline uğradı. Halkın çoğu göç etmek zorunda kaldı. Temmuz ’da Ruslar tarafından işgal edilen Gümüşhane Şubat ’de işgalden kurtarıldı. Ruslar çekildikten sonra daha bir süre Ermeni çeteleri buralarda savaştılar. Osmanlı egemenliğinde Erzurum’a bağlı olan Gümüşhane Sancağı, Tanzimat’tan sonra Trabzon’a bağlandı. yılında il hâline getirildi.