Il suit une formation pédagogique à Wettingen et obtient un poste d'enseignant dans un lycée professionnel. Sur le plan littéraire, il se dit être influencé par l'existentialisme d'Albert Camus.
Merz publie son premier recueil de poésies Mit Sammlerer Blindheit en 1967.
Membre du Groupe d'Olten, il fut son président en 1995-1997.
D'abord connu pour ses œuvres poétiques, quelques pièces de théâtre et des scénarios, il publie en 1997 un roman autobiographique Frère Jacques, qui reçoit le Prix Lipp Suisse 1999. Le titre est une référence à son frère mort avant sa naissance.
Le film documentaire Merzluft de Heinz Bütler retraçe sa vie à l'occasion de ses 70 ans.
En 2003, il publie les œuvres complètes de son frère handicapé, Martin Merz (1950-1983), sous le titre Zwischenland.
En 2024, il reçoit le Grand Prix de littérature, doté de 40 000 francs suisses, pour une œuvre complète.
