I suoi primi racconti appaiono nel 1960 e trovano ospitalità su varie riviste quali The Noble Savage e The New Strand, e successivamente sull'Atlantic Monthly e sul New American Writing mentre per mantenersi svolge svariati mestieri quali l'insegnante, la centralinista e la domestica.
La sua prima piccola raccolta, Angels Laundromat, è stata pubblicata nel 1981, ma alcuni dei racconti contenuti all'interno erano stati scritti già nel 1960. Nel corso della sua vita ha pubblicato settantasei racconti. Molti dei suoi racconti sono apparsi su riviste come The Atlantic e The Noble Savage di Saul Bellow. Berlin pubblicò sei raccolte di racconti, ma la maggior parte della sua opera si trova in tre volumi successivi della Black Sparrow Books: Homesick (1990), So Long (1993) e Where I Live Now (1999).
Nonostante alcuni premi letterari vinti come l'American Book Awards per la raccolta Homesick, ebbe poco successo mentre era in vita se si eccettua l'ammirazione da parte di un gruppo ristretto di ammiratori tra i quali Lydia Davis e Saul Bellow.
La sua riscoperta letteraria è avvenuta undici anni dopo la sua morte, nell'agosto 2015, con la pubblicazione di La donna che scriveva racconti, raccolta di storie brevi con protagoniste donne delle pulizie, impiegati, portantini e centralinisti spesso alle prese con problemi come il divorzio o l'alcolismo.
Opere
Raccolte di racconti
La donna che scriveva racconti (A Manual for Cleaning Women, 1977), Torino, Bollati Boringhieri, 2016 traduzione di Federica Aceto ISBN 978-88-339-2685-8.
Angel's Laundromat (1981)
Legacy (1983)
Phantom Pain (1984)
Safe & Sound (1989)
Homesick (1990)
So Long (1993)
Where I Live Now (1999)
Sera in paradiso (Evening in Paradise), Torino, Bollati Boringhieri, 2018 traduzione di Manuela Faimali ISBN 978-88-339-3039-8.
Una nuova vita. Racconti, saggi, diari, Torino, Bollati Boringhieri, 2024 a cura di Jeff Berlin, traduzione di Manuela Faimali ISBN 978-88-339-4377-0
Novelle
The Musical Vanity Boxes (2016)
Memoir
Welcome Home (2018), Torino, Bollati Boringhieri, 2019 traduzione di Manuela Faimali ISBN 978-88-339-3092-3.
Premi e riconoscimenti
Jack London Short Story Prize: 1985 vincitrice con il racconto My Jockey