Furono le montagne più settentrionale della Terra di Mezzo, al cui interno vi erano ricchezze minerali e pietre preziose. Dopo la distruzione dei Monti di Ferro, a causa della Guerra D’Ira, i Monti Grigi confinavano a nord con il Forodwaith, ad ovest con le Montagne Nebbiose ed il Monte Gundabad. Ad est, gli Ered Mithrim si dividevano in due, creando la Brughiera Arida, una valle presidiata dai Draghi. Proseguendo, si trovavano i Colli Ferrosi, una parte di ciò che rimaneva degli antichi Monti di Ferro
Durante gli Anni degli Alberi, dopo il loro risveglio, i Nani guidati da Durin I colonizzarono i Monti Grigi (Ered Mithrin), creando i loro regni. Dopo la Guerra D’Ira, sul finire della Prima Era, molti Orchi iniziarono anch’essi ad espandersi nelle montagne, facendo scaturire le prime guerre contro i Nani dei Monti Grigi e delle Montagne Nebbiose. Durante la Terza Era, il Balrog noto come il “Flagello di Durin” si risvegliò e i Nani abbandonarono Moria. Thráin I fondò Erebor e Thorin I migrò con altri Nani nei Monti Grigi. Per lunghi anni, il popolo di Durin prosperò in queste montagne, fino all’arrivo dei Draghi, attratti dalle grandi ricchezze da loro accumulate. Fu così che nel 2589 Terza Era, Dáin I morì nello scontro con un drago, in occasione di quella che venne ricordata come la Guerra tra i Nani e i Draghi. Dopo la guerra, le roccaforti dei Monti Grigi furono abbandonate dai Lungobarbi. Anni dopo, sfruttando l’assenza dei Draghi, gli Orchi dilagarono negli Ered Mithrin, infestando il territorio. La Battaglia dei Cinque Eserciti, che ebbe luogo in seguito alle vicende legate alla Compagnia di Thorin Scudodiquercia, ridusse di molto il numero degli Orchi delle montagne, poiché vi parteciparono legioni provenienti dai Monti Grigi e dalle Montagne Nebbiose. Alla fine della Terza Era, non si ebbero molte notizie dei Nani dei Monti Grigi, ma, probabilmente, alcuni continuarono a vivere nei loro regni sotto le montagne.
