Shepp è cresciuto a Filadelfia, in Pennsylvania, dove ha studiato pianoforte, clarinetto e sassofono contralto, prima di concentrarsi sul sassofono tenore, anche se occasionalmente suona il sassofono soprano. Dal 1955 al 1959 studia recitazione al Goddard College ma, a causa dello scarso successo come attore, specialmente dopo il trasferimento a New York, decide di intraprendere la professione di musicista. Per un breve periodo suona in una orchestra latin jazz, ma ben presto si unisce al gruppo del giovane pianista d'avanguardia Cecil Taylor, che ha da poco cominciato a distinguersi tra i pianisti seguaci di Thelonious Monk per diventare una delle più importanti e controverse figure dell'avanguardia degli anni sessanta.
Il nome di Shepp appare in tutti e tre i dischi fondamentali di Taylor. La sua prima esperienza discografica importante a nome proprio arriva insieme al gruppo dei New York Contemporary Five. Arrivano poi anche i dischi incisi per l'etichetta Impulse! Records insieme a John Coltrane, che ha per Shepp una profonda ammirazione. Il primo di questi dischi è Four for Trane, in cui partecipa anche l'amico trombonista Roswell Rudd. Insieme a Coltrane Shepp partecipa nel 1965 anche alle sessioni di registrazione per A love supreme, ma nessuna delle registrazioni in cui appare viene poi inclusa nel disco finale.
Archie Sheep in concerto al Keystone Korner, San Francisco, 19 agosto 1982
Nel 1965 con la pubblicazione di Ascension, Shepp e Coltrane diventano gli esponenti di spicco dell'avanguardia newyorchese. Questa situazione diventa emblematica con l'uscita di New Thing at Newport in cui una faccia dell'LP è dedicata a Coltrane e l'altra a Shepp. Alcuni critici ritengono che in questa fase Shepp fosse ancora troppo influenzato da Coltrane, e in effetti l'influenza di Coltrane in generale era all'epoca così profonda che quasi nessun sassofonista del tempo è riuscito a evitare che gli fosse mossa questa critica. Nello stesso anno esce anche Fire Music, in cui si leggono i primi segni dell'afrocentrismo di Shepp. Nell'album viene recitata una poesia su Malcolm X, mentre il titolo è preso dalla tradizione della "musica cerimoniale africana". Si nota che Shepp cerca di uscire dai confini del jazz, ma rimane in qualche modo legato alla tradizione del bebop. Sono notevoli le originali riletture di alcuni standard come The Girl from Ipanema di Jobim.
Anche il disco successivo, nel 1967, The Magic of Ju-Ju, prende il nome dalla tradizione africana. All'epoca erano molti i jazzisti afroamericani che stavano prendendo coscienza dell'afrocentrismo e della tradizione musicale del continente africano. Shepp continuò a sperimentare lungo tutti gli anni settanta, dando vita a dischi come Attica Blues e The Cry of My People. A partire dal 1972 compaiono anche le affermazioni più radicali di Shepp a proposito della libertà dei neri.
Tra la fine degli anni settanta e gli anni ottanta Shepp passa continuamente dal suo percorso alla scoperta della musica tradizionale africana al jazz più tradizionale, incidendo anche con musicisti europei come Jasper Van't Hof. Nei primi anni novanta suona spesso con il trombettista francese Eric Le Lann con cui regista Live in Paris nel 1995. Lungo gli anni della sua carriera Shepp riprende occasionalmente il suo primo interesse, la recitazione, con opere come The Communist nel 1965 o Lady Day: A Musical Tragedy nel 1972. A partire dal 1970 fino ai primi anni del 2000 Archie Shepp è stato professore nel dipartimento di studi afroamericani all'università del Massachusetts dove insegnava sia musica che storia della musica.
Discografia
Archie Shepp con la cantante newyorkese Shirley Bunnie Foy, con la quale registrò l'album A Sea of Faces
Leader
1963.11 – Archie Shepp in Europe/Vol. 1 With the New York Contemporary 5 – Delmark (1967) (With the New York Contemporary 5)
1963.11 – The House I Live In – SteepleChase (1980) (rist. 1993 – SteepleChase)
1964.08 – Four for Trane – Impulse! (1964) (rist. 1997 CD – Impulse! / 2020 LP – Impulse!)
1965.02 – Fire Music – Impulse! (1965) (rist. 1972 LP – Impulse! / 1995 CD – Impulse!)
1965.03 – On This Night – Impulse! (1965) (rist. 1993 CD – Impulse!)
1965.03 – The Dedication Series/Vol. XVII Further Fire Music – Impulse! (1978)
1966.08 – Mama Too Tight – Impulse! (1967) (rist. 2006 CD – Impulse!)
1966.11 – Three for a Quarter, One for a Dime – Impulse! (1969) (rist. 1972 LP – Impulse!)
1967.04 – The Magic of Ju-Ju – Impulse! (1968) (rist. 1991 CD – Impulse!/GRP / 2018 LP – Superior Viaduct)
1967.10 – Life at the Donaueschingen Music Festival – SABA (1967) (rist. 1972 LP – BASF Systems / 2014 CD – Promising Music)
1967.12 – Freedom – JMY (1991)
1968.01 – The Way Ahead – Impulse! (1968) (rist. 1998 CD – Impulse!)
1988.02 Chet Baker, In Memory of – L+R Records (1988) (rist. 1988 CD – Bellaphon)
1989.03 Chris McGregor, The Brotherhood of Breath, en Concert a Banlieues Bleues with Chris McGregor and the Brotherhood of Breath – 52e Rue Est (1989) (rist. 1989 CD – 52e Rue Est)