Tervosen vanhemmat olivat sahanhoitaja Anton Tervonen ja Anna Stiina Saukkonen. Hän pääsi ylioppilaaksi 1905 Lahden yhteiskoulusta ja opiskeli sitten Helsingin ja Moskovan yliopistoissa.
Tervonen toimi venäjän kielen opettajana Kokemäen ja Hangon yhteiskouluissa vuosina 1910–1918. Hän työskenteli sen jälkeen vakuutusvirkailijana, vuodesta 1936 lähtien Suomen hotelli- ja ravintolakoulun kielten opettajana sekä lisäksi vuoden 1942 jälkeen venäjän kielen tuntiopettajana eräissä Helsingin oppikouluissa. Työnsä ohessa Tervonen käänsi eri kielistä yli 50 kaunokirjallista teosta.
Tervonen oli naimisissa vuodesta 1919 Ester Lempi Haapasen kanssa.
I. N. Potapenko: Valinta: kertomus; venäjän kielestä suomentanut Juho Tervonen. Karisto 1915
Leo Tolstoi: Valitut teokset 3, Ylösnousemus; täydellisimmän alkukielisen painoksen mukaan suom. Juho Tervonen. WSOY 1926, 2. painos nimellä Ylösnousemus: romaani. WSOY 1952, 6. painos 1973
Ivan Naživin: Palava sydän: Leo Tolstoin elämä. WSOY 1928
J. V. Snellman: Kootut teokset 8, Kotimaisen kirjallisuuden arvosteluja; suom. Yrjö Ora ja Juho Tervonen. WSOY 1932
Aleksandra Rahmanova: Ylioppilaita, rakkautta, kuolemaa: venäläisen naisylioppilaan päiväkirja. WSOY 1934
Aleksandra Rahmanova: Avioelämää punaisessa myrskyssä: venäläisen aviovaimon päiväkirja. WSOY 1935
Milton Silverman: Ihmeitä pullossa: kertomus kymmenestä ihmeitätekevästä lääkeaineesta ja eräistä lahjakkaista miehistä, jotka tieten tai tietämättään keksivät ne. Gummerus 1944