Svanholms föräldrar Viktor Svanholm och Beda Swanström var frikyrkopredikant respektive folkskollärare. Efter studentexamen 1922 och folkskollärarexamen 1926 studerade Svanholm på Musikkonservatoriet i Stockholm 1927–1929, bland annat solosång för John Forsell och han avlade kyrkosångar- och musiklärarexamen 1925. Han blev därefter elev på Operaskolan 1930. Han var skolkantor i Tillberga 1922, sedan verksam som kantor och folkskollärare i Säby i Västmanland 1924–1929, och som organist vid Stråhle-orgeln i Strömsholms slottskapell 1927–1929. Svanholm utsågs till kantor i S:t Jacobs kyrka i Stockholm 1929 där han verkade fram till 1949. Han undervisade i elementar- och kyrkosång på Musikkonservatoriet 1930–1940 samt 1934–1936 tillförordnad lärare i solo- och ensemblesång. Han var andre dirigent för Stockholms kyrkosångsförbund 1933–1943. Han var även verksam som adjungerad ledamot av Kyrkosångens vänners centralkommitté.
Svanholm efterträdde Joel Berglund som chef för Stockholmsoperan 1956 och innehade den befattningen till 1 juli 1963. Han var far till kördirigenten Eva Svanholm Bohlin och morfar till kördirigenten Ragnar Bohlin och operasångerskan Ingela Bohlin.
Set Svanholms minnesfond instiftades 1966 och utser stipendiater som gjort uppmärksammade operainsatser främst inom de tyngre rollfacken.
↑Sveriges statskalender för året 1955, [Med bihang], utgiven efter Kungl. Maj:ts nådigste förordnande av dess Vetenskapsakademi, Uppsala & Stockholm 1955 ISSN 0347-7223, s. 74
Musiklexikon: svensk 1900-talsmusik från opera till pop: 2000 biografier: termer, instrument, ensembler, repertoar m m. Natur och kulturs facklexikon, 99-0152584-5. Stockholm: Natur och kultur. 1978. sid.258-259. Libris8348602. ISBN 91-27-28188-4
Rodén, Marie-Louise(2011).”Set Svanholm: spår av en mångsidig kulturgärning”.Årsbok för Riksarkivet och landsarkiven2011,: sid.224-245: ill.. 1103-8233. ISSN1103-8233.Libris12453712