Hij werd geboren in het gezin van boekdrukker Andreas Schaft Elling (1818-1872) en Pauline Bansboe (1826-1905). Hij is de broer van ingenieur Ægidius Elling, de uitvinder van de gasturbine en Jacoba Elling, de zangeres. Hijzelf huwde in 1889 Ulrika Ramm (Ulrikke Eleonore Sigwardt Greve Ramm Olsen) (1863-1943), dochter van een priester. Zij was zuster van de artsen Fredrik Gottlieb Olsen Ramm en Louise Vally Ramm. Het echtpaar kreeg een zoon Johnny Elling (1890-1960), jurist en werkzaam in het bankwezen, naamgever van het Johnny Ellings Legat.
Zijn piek als componist lag in de jaren 1890 tot 1905. Hij leverde twee symfonieën, vioolconcertkamermuziek, opera en meer dan tweehonderd liederen. Alhoewel hij dus veel werken schreef, viel hij in ongenade (te ouderwets) en worden zijn werken heden ten dage nauwelijks meer gespeeld. Zijn debuut als componist vond plaats op 5 april 1884. In 1885 was Edvard Grieg zo lyrisch over hem dat hij een aantal van Ellings werken uitvoerde in Bergen.
Hij ontving in 1899 een staatstoelage, waarop hij land introk om Noorse volksmuziek te zoeken en onderzoeken. Hij trok daarbij op met Olav Sande, een andere verzamelaar. Elling verwerkte de gevonden muziek in een aantal van zijn werken, zoals Slåtter voor viool en piano.
Ich lag in tiefer Todesmacht (dameskoor, uitgevoerd 5 april 1884)
Im Garten leidet Christus Noth (dameskoor, uitgevoerd 5 april 1884)
Mir Träumte von einen Königskind (lied, uitgevoerd 5 april 1884)
Reinigung (lied, uitgevoerd 5 april 1884)
Kjaerlighedens stjerne (lied, uitgevoerd 5 april 1884)
Vor dem Osththor standen Mädchen (lied, uitgevoerd 5 april 1884
Epheuranken samml’ ich hier (lied, uitgevoerd 5 april 1884)
Im wundersch:on Monat Mai (lied, uitgevoerd 5 april 1884)
Fordi jeg glemmer ikke denne Vunde (lied, uitgevoerd 5 april 1884)
Fuglenes vise (lied, uitgevoerd 5 april 1884)
Du blomst i dug! (lied, uitgevoerd 5 april 1884)
Fem sange for mezzosopraan (texter af Kr. Janson og Ivar Aasen)
Svundne dage (8 lette pianostykker: Om morgenen, Det sproger, Vemod, Lykke over lykke, Smaagutternes flagmarsch. Det tabte paradis, voldkat, idyl) (1908)
To norske folketoner (1905)
Bibliografie over volksmuziek
Vore folkemelodier, 1909
Vore kjæmpeviser, 1914
Vore slåtter, 1915
Tonefølelse, 1920
Norsk folkemusikk, 1922
Strøbemerkninger til vor musikhistorie, 1925
Vore religiøse folketoner, 1927
Sprogforholdet inden vore folkemelodier, 1930
Nye bidrag til belysning af norsk folkemusik, 1933
Boeken met volksmuziek
Religiøse folketoner for blandet kor, 1904–19
Religiøse folketoner for sang og klaver, 1907–18
Slåtter for fiolin og klaver, 1908
Norske folkeviser for sang og klaver, 1908–25
Stevtoner for sang og klaver, 1910
Norske folkemelodier for klaver, 1911
Enstemmige religiøse folketoner, 1915–16
Norske folkemelodier, slåtter og bånsuller for fiolin og klaver, u.å