Hans fader emigrerede til USA for at tjene penge til familien, men døde der af tuberkulose uden at have set sin søn.
Han studerede musik ved Helsingfors universitet og hos Jean Sibelius 1906-1910, i Paris hos Vincent d'Indy 1910–1911 og i Wien og Berlin 1911–1912. Årene 1912-1914 var han assisterende kapelmester for Filharmoniska orkestern i Helsingfors og 1914-1916 leder af Vyborgs musikvenners orkester og lærer ved byens orkesterskole. Da han vendte tilbage til Helsingfors, blev han lærer i musikteori og musikhistorie ved Helsingfors konservatorium frem till 1939. Han var tillige aktiv som musikkritiker i Helsingin Sanomat 1916-1932 og som musiklærer ved universitetet 1926-1947. Professor 1937.
Musikken er stærkt påvirket af österbottniskfolkemusik, og Madetoja ved siden af Jean Sibelius en vigtig repræsentant for den finske senromantik. I begyndelsen komponerede han i den stil og var stærkt påvirket af Richard Strauss. Et eksempel på dette er den første symfoni. Allerede i symfoni nr. 2 har han fundet et mere selvstændigt tonesprog. Naturens skønhed kontrasteres her mod den finske borgerkrig under hvilken både hans broder og hans komponistkollega Toivo Kuula døde.
I 1923 komponerede han den finske nationalopera Österbottningar (finsk: Pohjalaisia) og derefter fandt han en lettere, fransk inspireret stil, som også var et resultat af et ophold i Frankrig 1926. Der skrev han symfoni nr. 3 og balletsuiten Okon Fuoko. Hans anden opera Juha (1935) fik ikke samme succes som Österbottningar.
Efter færdiggørelsen af kantaten Lauluseppele i 1938 bragte økonomiske bekymringer og dårligere helbred til en nedgang i kompositionsvirksomheden. Frem til hans død tilkom kun nogle a cappella-korværker under årene 1945 og 1946.
Værker
Pianotrio, e-Moll Op. 1
Sonatine för violin och piano Op. 19
Kuoleman Puutarha ("Dødens have") for piano Op. 41
