Fiatalkora és tanulmányai
Phyllis Ada Driver néven született az ohiói Limában, Perry Marcus Driver (1862–1948) biztosítási ügynök és Frances Ada (leánykori nevén Romshe; 1881–1949) lányaként. Családja német és ír származása miatt a vezetékneve eredetileg Treiber volt és csak később változtatta azt Driver-re. Metodistaként nevelkedett, de később ateista lett. A szülei már idősebbek voltak, amikor megszületett (55, illetve 38 évesek), emiatt Diller több hozzátartozóját fiatalon elvesztette. Ezek az élmények vezették el később ahhoz a felismeréséhez, hogy számára a stand-up karrier egyfajta terápia a fiatalkori traumák kezelésére.
Limában kezdett járni a Central High Schoolba és ott fedezte fel a tehetségét a szórakoztatásban. Bár nem igazán volt az osztály bohóca, "csendes és dedikált" diáknak nevezte magát, de élvezte, amikor az emberek nevettek rajta. A Columbia College Chicago diákjaként tanult zongorázni három évig a Sherwood zenei konzervatóriumban, de zenei karrierje kudarcba fulladt. Ezután a Bluffton Collegebe járt, ahol irodalmat, történelmet, pszichológiát és a filozófiát tanult. Itt találkozott későbbi férjével, Sherwooddal.
Betegsége és halála
80. születésnapjához közeledve különböző betegségektől kezdett szenvedni. 1999-ben megállt a szíve egy kórházi tartózkodása alatt. Ezután pacemakerrel látták el, de problémái tovább fokozódtak, amikor szervezete rosszul reagált a gyógyszerekre és megbénult. Fizikai kezelésnek köszönhetően képes volt újra járni. 90 éves korában, Diller visszavonult a stand-up comedy megjelenésektől.
2012. augusztus 20-án délelőtt természetes halállal hunyt el kaliforniai otthonában, 95 évesen. A családja szerint "mosollyal az arcán" érte a halál.
