John Yarmuth est originaire de Louisville dans le Kentucky. Après un bachelor of arts de l'université Yale en 1969, il étudie brièvement à la faculté de droit de Georgetown puis travaille pour le sénateur républicain Marlow Cook(en). En 1975, il se présente sous l'étiquette républicaine au conseil municipal de Louisville, sans succès. Six ans plus tard, il perd à nouveau les élections pour le conseil du comté de Jefferson.
Devenu démocrate, il fonde en 1990 le magazine LEO Weekly, un hebdomadaire alternatif. Il revend le journal en 2003 mais son fils, Aaron, le rachète en 2014.
En 2006, il est candidat à la Chambre des représentants des États-Unis dans le 3edistrict du Kentucky, autour de Louisville. Il affronte la républicaine Anne Northup, élue depuis 10 ans dans ce district pourtant favorable aux démocrates. Porté par la vague démocrate nationale
, il rassemble 50,6% des voix contre 48,2% pour la républicaine.
Il est réélu représentant en 2008 avec 59,4% des suffrages, à nouveau face à Northup. Lors de la vague républicaine de 2010, il remporte 54,7% des voix face au républicain Todd Lally. Le 3edistrict est redécoupé en sa faveur en 2011,. Il est reconduit avec plus de 63% des suffrages en 2012 et 2014.
Conformément à une promesse de campagne de 2006, il donne chaque année l'intégralité de son salaire de représentant à des associations.
Candidat à sa réélection en 2018, il remporte un nouveau mandat contre la républicaine Vickie Yates Glisson, ancienne secrétaire à la santé du Kentucky. Après que les démocrates aient remporté la majorité à la Chambre des représentants lors de ces élections, il devient président de la commission du budget.
En 2020, il est réélu pour un huitième mandat au Congrès puis pour un second mandat à la tête de la commission du budget,. En , il annonce qu'il ne sera pas candidat à sa réélection lors des élections de 2022.
