Le label est à l'origine créé pour produire de la musique en espéranto. Son nom "ESP" peut ainsi s'interpréter comme une référence à cette langue, mais il est aussi quelquefois présenté comme étant l'acronyme de Extra Sensory Perception ("Perception Extra Sensorielle" en anglais). Quelques phrases en espéranto figurent d'ailleurs sur les pochettes des disques édités par le label. Cependant dès son deuxième disque (Spiritual Unity de Albert Ayler), il est devenu la meilleure vitrine de ce qu'on dénomme communément le free jazz ou New Thing.
ESP est d'emblée tourné vers l'avant-garde et la nouveauté. Il publie souvent les premiers enregistrements de certains musiciens ou formations (tel Pharoah Sanders), qui restent parfois les seuls jamais publiés. Son slogan résume bien cette posture: «YOU NEVER HEARD SUCH SOUNDS IN YOUR LIFE» («De votre vie vous n'avez jamais entendu de tels sons»).
Cette politique anticommerciale l'amène à rencontrer de sérieuses difficultés financières. Pour s'en sortir, le label lance dans les années 1970 de nombreuses rééditions de bootlegs et d'enregistrements inédits d'artistes plus reconnus comme Charlie Parker, Billie Holiday ou Bud Powell.
ESP a également produit des enregistrements non commerciaux de rock indépendant comme The Fugs, The Godz et Pearls Before Swine. Bien que le label ait pratiquement cessé la production de disques dans les années 1970, il a cependant édité récemment quelques nouvelles œuvres; il existe toujours actuellement et son catalogue reste encore presque entièrement disponible.