Ahıska'da Karapapak (Terekeme) [Türkiye'de "Mesket Türkleri" olarak bilinir] kökenli bir ailede dünyaya geldi. 1925 yılında ailesiyle Türkiye'ye göç ederek Muş'a bağlı Bulanık kazâsına yerleştiler. Bulanık'ta başladığı eğitimini, 1943 yılında Balıkesir Lisesi'nde yatılı okuyarak sürdüren Ergin; 1945 yılındaki Tan gazetesi baskınına katılan ve göstericileri yönlendirenler arasında yer almıştır. 1947 yılında İstanbul ÜniversitesiEdebiyat Fakültesi'nden mezun oldu. Reşit Rahmeti Arat'ın asistanı olarak, mezun olduğu üniversitede akademik çalışmalarına başladı. 1963'te doçent, 1971 yılında profesör unvanı aldı ve 1986-1990 yılları arasında ise üniversitenin Türk Dili ve Edebiyatı Bölüm Başkanlığını yaptı. Orhun Âbideleri'nin günümüz Türkçesine birebir çevirisini de yapan Ergin, 1990 yılında emekli oldu.
Hayatının son yıllarını parkinson hastalığı ile mücadele ederek geçiren Ergin, zatürreye yakalandıktan bir hafta sonra, 6 Ocak 1995 tarihinde öldü. Mezarı Hasdal Mezarlığı'ndadır.
Câmiü'l-Me'âni'deki Türkçe Şiirler, İ.Ü. Edebiyat Fakültesi Türk Dili ve Edebiyatı Dergisi, c. III, Sayı 3-4, s.539-569.
Dede Korkut Kitabı Üzerinde I, İ.Ü. Edebiyat Fakültesi Türk Dili ve Edebiyatı Dergisi, c. V, İstanbul, 1953, s.121-151.
Dede Korkut Kitabı Üzerinde II, İ.Ü. Edebiyat Fakültesi Türk Dili ve Edebiyatı Dergisi, c. VI, İstanbul, 1954, s.91-118.
Kadı Burhaneddin Dîvânı Üzerinde Bir Gramer Denemesi, İ.Ü. Edebiyat Fakültesi Türk Dili ve Edebiyatı Dergisi, c. IV, Sayı 4, İstanbul, 1952, s.287-327.
Melihî, İ.Ü. Edebiyat Fakültesi Türk Dili ve Edebiyatı Dergisi, c. II, Sayı 1-2, İstanbul, 1947, s.59-78.
Reşid Rahmetî Arat'ın Eserleri, İ.Ü. Edebiyat Fakültesi Türk Dili ve Edebiyatı Dergisi, c. XI, İstanbul, 1961, s.1-10.
Türk Dili ve Edebiyatını İlgilendiren Neşriyat, İ.Ü. Edebiyat Fakültesi Türk Dili ve Edebiyatı Dergisi c. II Sayı 3-4 (İstanbul 1948), s.301-326.
Türkçe ve Dil Bilgisi Öğretimi, 1974, Türk Kültürü 33 (382) 2.95, s.1-3.
Türkoloji Bölümü Çalışmaları, II. Tez Çalışmaları, İ.Ü. Edebiyat Fakültesi Türk Dili ve Edebiyatı Dergisi, c. X, İstanbul, 1960, s.133-160.
Türkoloji Bölümü Çalışmaları, II-Tez Çalışmaları, İ.o. Edebiyat Fakültesi Türk Dili ve Edebiyatı Dergisi, c. XI, İstanbul, 1961, s.109-128.
Yaptırdığı tezler
Mehmet Metin Karaörs (1985), Ali Şîr Nevâyî'nin İkinci Dîvânı NEVÂDİRÜ'Ş-ŞEBÂB (giriş-metin-dil özel.) Doktora Tezi, İÜ. Sos. Bil. Enst., 710 sayfa, TDK yay.
Ceval Kaya (1989), Altun Yaruk (Suvarnaprabhasottama-Sutra) giriş-metin-dizin (2 cilt) Doktora Tezi, 779 sayfa, YÖK Tez Numarası: 754.
Gülşen Seyhan (1990), Köroğlu Destanı (Azerbaycan varyantı), inceleme-metin, Doktora Tezi, 587 sayfa, YÖK Tez Numarası: 9335.
Mustafa Sinan Kaçalin (1990), Çinggis Kağan Tarihi çevirisi, Doktora Tezi, 344 sayfa, YÖK Tez Numarası:9396.
Cevdet Eralp Alışık (1991), Çağdaş Âzerî Türkçesi Hikâyeleri, Doktora Tezi, 457 sayfa, YÖK Tez Numarası: 14484.
Nilüfer Akgür (1986), Kadı Burhaneddin Dîvânı'nın (s.61-91) Gramatikal İndeksi, Yüksek Lisans Tezi, 128 sayfa, YÖK Tez Numarası:162036.
Ümit Tokatlı (1984), Elvan Çelebi'nin Menâkıbnâme'si (metin-indeks-gramer), Doktora Tezi, 784 sayfa, YÖK Tez Numarası:163801.
Muharrem Ergin'in anısına yazılanlar
Ahmet Günşen (1995), “Prof. Dr. Muharrem Ergin’in Ardından”, Erciyes, sayı: 207, Mart 1995, s. 14-15.
Ahmet Bîcan Ercilasun (1995), “Hocam Muharrem Ergin’in Ardından”, Türk Dili, Sayı:518, Şubat 1995.
Gülşen Seyhan Alışık (2005), “Görkemli Alim Muharrem Ergin Beğ”, Modern Türklük Arastırmaları Dergisi, C.2, Sayı 4, Ankara 2005, s.10-25.
(1991), (Prof. Dr. Muharrem ERGİN'e Armağan), Türk Kültürü Araştırmaları Dergisi, Cilt: XXVIII/1-2, 1990, Türk Kültürünü Araştırma Enstitüsü, Ankara, 378 s.
(2005), Modern Türklük Araştırmaları Dergisi, Cilt: 2, Sayı: 4, Aralık 2005, Prof. Dr. Muharrem Ergin Anısına