Verein
Nelsson wuchs in Hornbæk auf und trat im Alter von vier Jahren dem ortsansässigen Verein Hornbæk IF bei. Später wechselte er in die Nachwuchsakademie des Partnervereins FC Nordsjælland und spielte am 12. September 2016 bei der 1:3-Auswärtsniederlage am achten Spieltag der Superliga-Saison 2016/17 gegen Aarhus GF erstmals im Herrenbereich. An seinem 18. Geburtstag erhielt Nelsson einen bis 2020 laufenden Profivertrag. In dieser Saison kam er zu einem Einsatz im dänischen Pokalwettbewerb und zu 16 Einsätzen in der Vorrunde der Superliga, in der der FC Nordsjælland den sechsten Tabellenplatz belegte. In der folgenden „Meisterrunde“ kam Nelsson mit dem in Farum ansässigen Verein nicht über den fünften Platz hinaus. In der Folgesaison kam der FC Nordsjælland sowohl in der regulären Saison als auch in der Meisterrunde zu einem dritten Tabellenplatz und qualifizierte sich somit für die erste Qualifikationsrunde zur UEFA Europa League. Dort setzte sich der Verein gegen Cliftonville FC durch und in der zweiten Qualifikationsrunde warf der FC Nordsjælland AIK Solna raus, ehe der FC Nordsjælland in der dritten Qualifikationsrunde gegen FK Partizan Belgrad ausschied. Mittlerweile war Victor Nelsson Stammspieler geworden und in der Saison 2018/19 verpasste er mit seinem Verein die erneute Teilnahme am internationalen Wettbewerb, nachdem man in der Meisterrunde lediglich sechsten und somit letzten Platz belegte.
Im Juli 2019 wechselte er zum FC Kopenhagen und unterschrieb einen bis 2024 laufenden Vertrag. Galatasaray Istanbul gab am 11. August 2021 die Verpflichtung von Nelsson bekannt. Galatasaray muss in den nächsten fünf Jahren eine Ablöse in Höhe von 7 Millionen Euro bezahlen, außerdem wurde für Nelsson eine Ausstiegsklausel in Höhe von 25 Millionen Euro vereinbart. In seiner zweiten Saison mit Galatasaray wurde Nelsson Meister.
Im Februar 2025 wurde der dänische Abwehrspieler an AS Rom ausgeliehen. Für die Römer bestritt er nur fünf Pflichtspiele und der Verein verzichtete auf die Kaufoption. Nelsson verblieb für die Saison 2025/26 in der Serie A und schloss sich per Leihe Hellas Verona an. Im September 2026 wechselte er zurück in die dänische Superliga zum FC Nordsjælland.
