Játékosként
Jimmy Murphy szülővárosában, az amatőr Ton Pentre Boysban kezdett futballozni, majd ifjúsági játékosként megfordult még a Treorchy Thursday FC, a Treorchy Juniors és a Mid-Rhondda Boys csapataiban is, amúgy iskolai évei alatt templomi orgonán játszott. 1924-ben pályára lépett a walesi iskolai válogatottban az angolok ellen Cardiffban. 1928 februárjában, 17 évesen profinak állt és csatlakozott a West Bromwich Albionhoz.
A felnőttek között 1930. március 5-én egy Blackpool elleni 1-0-s vereség alkalmával mutatkozott be, és abban az idényben még egy bajnokin kapott lehetőséget. Az 1930-31-es szezonban a West Brom megnyerte az FA-kupát és feljutott a másodosztályban, de Murphy ezúttal is csak két bajnokin játszhatott. Rendszeresen a következő bajnokságtól játszhatott, és közben a West Bromwich visszajutott az élvonalba. Alapembere lett csapatának, az 1934-35-ös, 4-2-re elveszített FA-kupa döntőben is pályára lépett a Sheffield Wednesday ellen.
1939-ben a Swindon Townhoz igazolt, de a második világháború kettétörte karrierjét. A walesi válogatottban tizenöt alkalommal lépett pályára.
Edzőként
A világháború alatt együtt szolgált Matt Busbyvel, és egy alkalommal olyan lelkes beszédet tartott katonatársainak a futballról, hogy Busby, mikor kinevezték a Manchester United élére maga mellé vette Murphyt. Amolyan menedzser asszisztensként működött, de ő volt az utánpótlás együttes menedzsere 1955-ben, mikor megnyerték az FA Youth Cupot. Játékosmegfigyelőként is dolgozott, ő fedezte fel majd edzette először a "Busby Babes" néven emlegetett csapat tagjait, többek közt Bobby Charltont és Duncan Edwardsot.
A müncheni légikatasztrófa után ideiglenesen ő vette át a csapat vezetését, amíg Busby fel nem épült, és az FA-kupa döntőjébe vezette a Unitedet, ott azonban alulmaradtak a Boltonnal szemben. A katasztrófa idején nem tartott a csapattal, ugyanis a walesi válogatott szövetségi kapitányaként világbajnoki selejtezőn vett részt. Csapatával győzött az Izrael elleni mérkőzésen, az 1958-as világbajnokságon (ami a mai napig az ország egyetlen világbajnoki szereplése) a csoportból való továbbjutás után a későbbi győztes Brazília állt az útjukba, a mérkőzés egyetlen gólját az akkor 17 éves Pelé szerezte.
A torna után megkereste a Juventus és az Arsenal is, azonban Murphy nemet mondott és egészen 1971-ig a United alkalmazásában maradt, annak ellenére, hogy sohasem irányította az első csapatot, igaz jobban szeretett a háttérben dolgozni mint a rivaldafényben. Később is segédkezett fiatal játékosok felkutatásában, 1973-ban ő vette rá Tommy Dochertyt, hogy szerződtesse Steve Coppellt és Gordon Hillt.
Jimmy Murphy 1989. november 14-én, 79 éves korában hunyt el. Tiszteletére a Manchester United vezetői megalapították a Jimmy Murphy Young Player of the Year Award-ot, amit minden évben a legtehetségesebb utánpótlás játékos kap meg. 2009. március 23-án emléktáblát avattak tiszteletére szülőházánál.
A 2000-ben készült, George Best életét bemutató Best című filmben Philip Madoc, a 2011-ben forgatott, az 1958-as tragédiát feldolgozó United című filmben David Tennant személyesíti meg alakját.
.svg){kind=small}
