Utsmyckning av Solnahallens östra och norra fasad.Ultvedts verk Från Vä till Österäng i Kristianstad.Väggmålningar på tunnelbanestationen T-centralen, blå linjen, i Stockholm.Monologoskåp. PO Ultvedt Malmö Konsthall 1988."Trasig klocka". Karolinska Institutet, Campus Solna.
Ultvedt var son till direktören Nils Ultvedt och Margareta, född Sundman, samt gift med Anne Marie Ingemansson och far till Fredrik Ultvedt, Anne Ultvedt Hedström och Marie Ultvedt Widell.
Under 1950-talet var han tillsammans med Pontus Hultén medarbetare i redaktionen för Stockholmsteknologernas Blandaren. Kamratskapet som uppstod på redaktionen kom att få betydande konsekvenser för det moderna svenska konstlivet.[förtydliga] När Jean Tinguely 1954 visade sin första uppmärksammade utställning i Paris med rörliga skulpturer gjorde Ultvedt sin första mobila konstruktion som dekor till Lia Schuberts balett Spiralen på Stockholms konserthus. Två år senare presenterade han sin skulptur Tavelförstöraren som var en maskin i järn med en massa hjul som utförde meningslösa kraftöverföringar i ett lyriskt virrvarr.
Han byggde 1958 den stora trämaskin Gargantux i Liljevalchs konsthall som var två våningar hög och som skulle visas i en planerad utställning tillsammans med Tinguely, Hulten och Hans Nordenström som senare inte öppnades. Ultvedt deltog i utställningen Rörelse i konsten på Moderna museet i Stockholm 1961. Tillsammans med Niki de Saint-Phalle och Jean Tinguely skapade han 1966 utställningen Hon – en katedral på Moderna museet, som är en av Sveriges mest omtalade och välkända utställningar från denna epok. Till hans verk räknas även den uppmärksammade ljusreklamenMarabou-skylten vid Stureplan i Stockholm.
Med sina mekaniska konstruktioner i trä blev Ultvedt den främste företrädaren för den rörliga konsten i Sverige och även internationellt uppmärksammad. Han var en central figur i det konstliv som blomstrade kring Moderna museet i Stockholm under 1960-talet.
Tillsammans med Robert Rauschenberg och Carolyn Brown genomförde han en rullskriskobalett i USA 1965. Han blev ledamot av Konstakademien 1966 och tilldelades statens större arbetsstipendium 1966–1967. Bland hans offentliga arbeten märks ett trappräcke för T-Centralen i Stockholm, reliefer på betongbalkarna i Farsta kyrka, relief för tidningen Expressens entré i Stockholm.
Han är gravsatt i minneslunden på Lidingö kyrkogård. Ultvedts personarkiv förvaras för närvarande hos hans son. Det innefattar bl. a. en omfattande fotografisamling som dokumenterar hans konstnärskap från 1950-talet och framåt, skisser och teckningar samt en brevsamling.
Offentliga verk i urval
Hundöra (1969), ljusskulptur på fasaden till stadsbiblioteket i Jönköping
