Né à Nîmes en 1948, Serge Velay est fils de boulanger.
Il suit des études de littérature à Montpellier, où il suit notamment l'enseignement de Robert Lafont. Il évoque sa participation à Mai 68 dans L'Intempestif (1998) ; il est militant au Parti socialiste à Nîmes.
Il participe au début des années 1970 à l'atelier cinéma Pablo-Neruda. En 1977, avec le peintre Michel Duport, il crée la revue Terriers,.
En 1988, il est élu correspondant de l'Académie de Nîmes, mais démissionne par la suite.
Il préside depuis leur fondation en 2006 Les Amis de Jean Carrière.
Il s'intéresse à divers poètes, comme Novalis ou René Char.
Il est l'auteur de Dehors conquérant et La Vallée des voix (fragments) — parus tous deux en 1991. Avec Catherine Bernié-Boissard et Michel Boissard, il publie en 2009 un Petit dictionnaire des écrivains du Gard avec 200 portraits. Le Palais d'été est un hommage à Jean Carrière.