Ispirato dall'ascolto di John Coltrane decide a 19 anni di diventare musicista jazz. Entra nel quartetto Sphere alla fine degli anni '70. Negli anni '80 iniziò a farsi conoscere nei pub inglesi ed europei, iniziando a frequentare improvvisatori come Keith Tippett.
Sempre rimanendo con gli Sphere iniziò a suonare a Parigi, col gruppo francese Lumière e gli Urban Sax.
Il successo arrivò a metà degli anni '80 con la pubblicazione dell'album omonimo che gli valse il premio "Best Newcomer" al British Jazz Awards del 1987, seguito dal premio "Best Instrumentalist Award" nel 1988.
Introductions in the Dark (1989), con David Adams, Dave Buxton, Simon Gore, Mamadi Kamara, Steve Lodder, Pete Maxfield, Orphy Robinson, Chris Watson (Watt)
In Co-Motion (1991), con Claude Deppa, Steve Lodder, Sylvan Richardson, Jr., David Adams
Rhythm Method (1993), con David Adams, Julian Argüelles, Claude Deppa, Steve Lodder, Sylvan Richardson Jr., Kevin Robinson, Ashley Slater, Jerry Underwood, Gary Valente
Delivery Suite (1994), con David Adams, Julian Argüelles, Claude Deppa, Steve Lodder, Sylvan Richardson Jr., Kevin Robinson, Ashley Slater, Jerry Underwood, Gary Valente
Inclassifiable (1995) - Andy Sheppard, Steve Lodder and Naná Vasconcelos
Moving Image (1996) - Andy Sheppard and Steve Lodder, conDudley Philips, Mark Mondesir, Johnny Taylor, Richard Ajileye, Bosco d'Olivera
Learning to Wave (1998), con Paul Clarvis, Chris Laurence, Steve Lodder, John Parricelli, Sharda Sahai
Dancing Man & Woman (2000), con Kuljit Bhamra, Paul Clarvis, Steve Lodder, Chris Laurence, John Parricelli, Steve Swallow
Nocturnal Tourist (2001), con John Parricelli
Music for a New Crossing (2001) - Andy Sheppard & Kathryn Tickell