Jarrett aloitti uransa 1960-luvun puolivälissä Art Blakeyn, Charles Lloydin ja Miles Davisin kanssa. 1970-luvun alussa hän siirtyi ECM-levy-yhtiöön, aloitti soolouransa levyllä Facing You ja laajensi myöhemmin soolorepertuaariaan myös klassisen musiikin puolelle. Jarrett saavutti mainetta soolokonserteilla, jotka perustuivat kokonaan improvisaatioon; ECM myös julkaisi ennakkoluulottomasti hänen pitkiä soololevyjään. Hänen tunnetuin soolokonserttilevytyksensä lienee The Köln Concert (1975), joka on myös kaupallisesti yksi menestyneimpiä jazzlevyjä. Jarrettin improvisaatiotekniikka sisältää vaikutteita myös klassisesta musiikista, bluesista, gospelista ja etnisestä musiikista.
Tunnetuimpiin levyihin yhtyeenjohtajana kuuluu esimerkiksi Survivors' Suite (1976). 1980-luvulta lähtien Jarrett on myös esiintynyt ja levyttänyt säännöllisesti ns. Standards-triossa yhdessä Gary Peacockin ja Jack DeJohnetten kanssa.
Jarrett vieraili Suomessa Charles Lloydin kvartetissa 1966 ja 1967 ja esiintyi soolopianistina Pori Jazz -festivaaleilla 1973.
Jarretilla diagnosoitiin 1996 krooninen väsymysoireyhtymä. Vuonna 2000 Jarrett kertoi muokanneensa pianoaan sairauden vuoksi, jotta voisi jatkaa soittamista. Vuonna 2018 Jarrett kärsi kahdesta aivoinfarktista, jotka halvauttivat hänen kehonsa vasemman puolen. Tuolloin 73-vuotias muusikko arveli, ettei enää kykene esiintymään.