Iniziò a suonare a 16 anni con i The Cortinas,nome dato in onore di una macchina inglese, la Ford Cortina. La band che suonava R&B incominciò successivamente ad eseguire delle cover dei New York Dolls e dei The Stooges. I The Cortinas pubblicarono due singoli chiamati Fascist Dictator e Defiant Pose pubblicati dalla Step Forward, l'etichetta del manager dei Police, Miles Copeland, fratello di Stewart. La band si sciolse nel 1978. Quindi nel 1979 fondò a Bristol gli Spics, band che la critica considerò fra le più interessanti del panorama britannico
Sheppard si trasferì in California, per poi ritornare nuovamente in Inghilterra. Quando i Clash licenziarono Mick Jones nel 1983, Sheppard e Vince White lo rimpiazzarono divenendo membri effettivi della band,suonando sia nel Tour europeo del 1984 che nel loro ultimo album, Cut the Crap. L'album non fu accolto positivamente da pubblico e critica che contestarono soprattutto la rottura del nucleo originario della band e lo snaturarsi del loro sound. Il disco fu ideato da Bernie Rhodes con l'aiuto del frontman dei Clash: Joe Strummer. Il singolo This Is England arrivò alla posizione no. 24 nella classifica britannica. e no. 13 in quella irlandese. ed è stato l'unico brano dell'album ben accolto da pubblico e critica, definito come "l'ultima grande canzone dei Clash". Sheppard rimase membro dei Clash fino al loro scioglimento nel 1986.
Dal 1986 al 1989 Sheppard, collaborò con Gareth Sager nel progetto Head, con cui pubblicò tre album per la Virgin Records pur senza raggiungere picchi di vendite. Lavorò poi con Koozie Johns in Shot, che firmarono con la I.R.S. Records nel 1991, con Copeland come manager; comunque le registrazioni del gruppo non furono mai pubblicate. Nick si trasferì in Australia nel 1993, e suonò per gli Heavy Smoker e i The New Egyptian Kings. Nel luglio del 2002, Sheppard fu invitato a suonare come chitarrista ospite per il tour giapponese della nuova band di John, i Sinnerstar. Il tour fu cancellato.
La sua vita è stata raccontata nel documentario dal titolo The Bad Sheppard diretto da Danny Boyle[senzafonte]
Discografia
Con The Cortinas
Album
1978 - True Romances
2008 - For Fucks Sake Plymouth
2009 - Please Don't Hit Me
2010 - Punk Rock Anthology
2018 - GBH Studio Demos 1977
Singoli ed EP
1977 - Defiant Pose / Independences
1977 - Fascist Dictator / Television Families
Con The Spics
Singoli ed EP
1977 - You & Me / Bus Stop
Con The Clash
Album
1984 - Five a Live
1985 - Cut the Crap
Greatest Hits
2003 - The Essential Clash
2003 - Friday Night Saturday Morning
Con gli Head
Album
1987 - A Snog On The Rocks
1989 - Intoxicator
Singoli ed EP
1996 - Car's Outside
Con Craig Davies
Album
1990 - Groovin' On A Shaft Cycle
Con The Domnicks
Album
2009 - Hey Rock 'N' Roller
2012 - Super Real
Singoli ed EP
2012 - Cool Runnings/I Wonder What You're Doin' Now