Michael Gielen wird 1927 in Dresden als Sohn des späteren Burgtheaterdirektors Josef Gielen und der Schauspielerin Rose Steuermann geboren und verbringt seine ersten Jahre in Berlin. Die Machtübernahme durch die Nazis zwingt die Familie in die Emigration, zuerst nach Wien, später nach Argentinien. Als Korrepetitor am Teatro Colón begegnet er den großen Dirigenten dieser Zeit.
Erst 1950 kehrt Gielen nach Wien zurück und arbeitet als Korrepetitor an der Staatsoper, zusammen mit Clemens Krauss, Herbert von Karajan und Karl Böhm. Der wichtigste Abschnitt in seiner Dirigentenkarriere wird Frankfurt am Main. Die Zusammenarbeit mit Ruth Berghaus, Hans Neuenfels, Jürgen Flimm, Harry Kupfer und Volker Schlöndorff, begründet die »Ära Gielen«.
1986 erhielt Gielen den Theodor-W.-Adorno-Preis der Stadt Frankfurt am Main, 2006 den Musikpreis der Stadt Duisburg, 2007 den Faust-Theaterpreis und 2010 den Siemens-Musikpreis für sein Lebenswerk. 2005 erschienen seine Erinnerungen Unbedingt Musik.

Michael Gielen verstarb am 8. März 2019 im Alter von 91 Jahren in seinem Haus am Mondsee im österreichischen Salzkammergut.