Matematikai tanulmányok után 1942-ben Párizsba költözött. Két évvel később a Conservatoire-on Olivier Messiaen osztályába került. Itt zeneszerzést, analízist, René Leibowitz vezetésével dodekafon technikát tanult. 1946-ban a Renaud-Barrault színtársulat zenei vezetője lett, ekkor írta első műveit (Szonatina fuvolára és zongorára, 1. zongoraszonáta, Le visage nuptial énekhangra és kamaraegyüttesre).
A szeriális technikával való megismerkedése után számos, az 1950-es évek zeneszerzői gondolkodását alapvetően meghatározó művet írt (Structures I-II. két zongorára, Le Marteau sans maitre énekhangra és kamaraegyüttesre, Pli selon pli) Ezekben a művekben a szeriális gondolkodást a zene valamennyi összetevőjére kiterjesztette. Később a véletlen alkalmazása foglalkoztatta, e tárgyban írt Alea című cikke nyomán terjedt el az aleatória kifejezés. Az IRCAM (Akusztikai/zenei kutatások intézete) megalapításával (1974) a ma használatos valamennyi zenei technológia (elektroakusztika, informatika, akusztikai kutatások, hangszerépítés) integrációjára törekedett. Répons című műve a számítógépek, a valós idejű hangátalakítások hangversenytermi használatának egyik legkorábbi példája.
1953-tól 1967-ig a Domaine Musical nevű párizsi kortárs zenei hangversenysorozat vezetője volt. 1966-ban vezényelt először Bayreuthban, itt számos nagy sikerű produkció fűződik a nevéhez (többek között a Ring Patrice Chéreau rendezte jubileumi előadása). 1969-ben vezényelte először a New York-i Filharmonikusokat, a zenekarnak 1971 és 1977 között a vezető karmestere volt.
1977-ben a Pompidou központ mellett működő IRCAM vezetőjévé nevezték ki. Ezt a posztot 1992-ig töltötte be. Ez az intézmény a zenei kutatások mellett az ugyancsak Boulez vezette Ensemble Intercontemporaine (EIC) révén a kortárs zene bemutatásának egyik legfontosabb fóruma. A 20. század zeneirodalmának legfontosabb művei mellett Mahler, Bruckner és Wagner műveinek is kiemelkedő tolmácsolója volt. Irányítása alatt jelent meg Anton Webern összes műveinek hanglemezfelvétele.
Fontosabb művei
Szonatina fuvolára és zongorára (1946)
1. zongoraszonáta, (1946)
Le visage nuptial, S,A, kamarazkr. (1946)
2. zongoraszonáta, (1948)
Le soleil des eaux, S,T,B, zkr (1948)
Le marteau sans maître, A, 6 hangszer (1952-54)
3. zongoraszonáta, (5 változatban) (1955-57)
Pli selon pli – Portrait de Mallarmé: S, zkr, részei: Don, Improvisations sur Mallarmé I-II-III, Tombeau (1957-62)
Éclat – kamaraegyüttesre (később átdolgozva és kiegészítve: Éclat/Multiple (1968-71)
Rituel in memoriam Maderna – 8 csoportra osztott zenekarra (1975)
Répons, 6 szólistára, elektronikára (1981-1988)
Dialogue de l'ombre double klarinétra, hangszalagra és térbeli mozgatásra szolgáló berendezésekre (1985)
...explosante-fixe... fuvolára, együttesre és számítógépre (1991-1995)
Sur incises 3 zongorára, 3 hárfára, 3 marimbára (1996-98)
Írásai
Penser la musique aujourd'hui, 1963
Relevés d'apprenti, Le Seuil, Collection «Tel Quel», 1966
Szegedy-Maszák Mihály: Jelen a múltban, múlt a jelenben. In memoriam Pierre Boulez; Pesti Kalligram, Bp., 2016 (Szegedy-Maszák Mihály válogatott munkái)