Fu uno dei membri fondatori dei The Clean nel 1978, insieme a Hamish e David Kilgour, che Gutteridge aveva conosciuto quando era studente, gruppo che divenne uno dei principali e più influenti del Dunedin sound. Fu anche membro fondatore dei The Chills nel 1980, rimanendo però con la band solo per pochi mesi in quanto trovava l'ambiente "troppo controllato".
Nel 1982-83 è stato membro dei The Cartilage Family, insieme a Shayne Carter, con i quali fece due concerti. Dopo aver lasciato la band, si riunì con i fratelli Kilgour dei Clean per formare nel 1983 una nuova band, The Great Unwashed, alla quale contribuì con quattro canzoni che aveva scritto per The Cartilage Family,[senzafonte] contribuendo all'EP Singles, pubblicato nel 1984 e che si esibì anche al John Peel Show. Il gruppo ebbe vita breve e, quando si sciolse, nel 1988 formò un nuovo gruppo, gli Snapper, con Christine Voice all'organo e Dominic Stones alla chitarra, che pubblicò due LP, un EP e qualche singolo, e poi collaborò con il gruppo di George Henderson, The Puddle.
Pubblicò nel 1989 con la Xpressway Records un album solista, Pure.
La rivista SPIN ha osservato che "la rilassata scioltezza di gruppi come Yo La Tengo, Ducktails, Beach Fossils e Twerps è in debito con il suono che Gutteridge ha contribuito a creare".
il gruppo americano Yo La Tengo ha realizzato una cover di "Gentle Hour" e i Wooden Shjips hanno spesso suonato il brano "Buddy" in concerto.
Davey, T. & Puschmann, H. (1996) Kiwi rock. Dunedin: Kiwi Rock Publications. ISBN0-473-03718-1 .
Dix, J. (1988) Stranded in paradise: New Zealand rock'n'roll 1955-1988. Wellington: Paradise Publications. ISBN0-473-00638-3 .
Eggleton, D. (2003) Pronto a volare: la storia della musica rock della Nuova Zelanda. Nelson, Nuova Zelanda: Craig Potton Publishing. ISBN1-877333-06-9.