Scherzer kwam al vroeg met de blaasmuziek in contact en werd in 1966 lid van de Gardemusik Wien in Wenen. Van 1967 tot 1972 studeerde hij aan het Vienna Conservatorium in Wenen. Van 1971 tot 1977 was hij tubaïst bij het Philharmonisches Orchester in Graz. Vanaf 1977 werd hij lid van het orkest van de Weense volksopera.
Hij is dirigent van het Große Blasorchester der Wiener Verkehrsbetriebe. Hij was van 1991 tot 2005 Landeskapellmeister des Niederösterreichischen Blasmusikverbandes.
Als componist schreef hij werken voor harmonieorkest. Voor de uitgaven van zijn werken richtte hij een eigen muziekuitgave Musikverlag Donautal op.