Provstgaard werd geboren in Kopenhagen maar groeide op in Vejle. Daar speelde hij eerst in de jeugd van Bredballe IF, voor hij in 2015 werd opgenomen in de opleiding van Vejle BK. In december 2020 liep hij een kruisbandblessure op, waardoor hij meerdere maanden uit de roulatie zou liggen. In juni 2021 tekende hij, nog geblesseerd, een nieuw contract bij Vejle BK, tot medio 2024. Na elf maanden blessureleed keerde Provstgaard terug en op 14 april 2022 debuteerde hij in het eerste elftal. Op die dag werd in de Superligaen met 2–1 verloren van Odense BK. Coach Ivan Prelec liet Provstgaard in de basisopstelling beginnen en hij mocht het gehele duel meespelen. In zijn vijf competitieoptredens dat seizoen kon de verdediger niet voorkomen dat Vejle BK degradeerde naar de 1. division.
Na de degradatie tekende Provstgaard een nieuw contract bij de club, tot medio 2026. Op het tweede niveau kreeg de centrumverdediger overwegend een basisplaats en hij maakte op 29 oktober 2022 ook zijn eerste officiële doelpunt als profvoetballer; mede door zijn treffer werd met 4–5 gewonnen van Nykøbing, al maakte hij ook een eigen doelpunt tijdens dat duel. Vejle BK werd kampioen en keerde zo na een jaar weer terug op het hoogste niveau, waar Provstgaard zijn basisplaats behield.
De Deen werd in februari 2025 voor een bedrag van circa vierenhalf miljoen euro overgenomen door Lazio, waar hij zijn handtekening zette onder een verbintenis voor de duur van vierenhalf jaar. Tijdens zijn eerste halve seizoen in Rome mocht hij tweemaal als invaller het veld betreden. Na de komst van Maurizio Sarri als trainer van Lazio in de zomer van 2025 nam het aantal speelminuten van Provstgaard toe. Het contract van Provstgaard werd in de zomer van het jaar erop opengebroken en met twee jaar verlengd tot medio 2031. Zijn eerste doelpunt in Italiaanse dienst maakte hij op 18 oktober 2026, toen hij op aangeven van Mattia Zaccagni de score opende tegen Juventus. Lazio wist het duel uiteindelijk met 0–3 te winnen.