A kezdetek
Flaherty, mielőtt drámai színdarabokban vállalt fellépéseket, négy évig szolgált az Egyesült Államok légierejénél. Később Chicagóba költözött, ahol 1969-ben Joe O'Flaherty néven a Second City Színházban kezdte komikus karrierjét. Olyan, későbbi híres sztárokkal dolgozott együtt, mint John Belushi és Harold Ramis. Közben születési nevéből elhagyta az „O”-t, mivel egy másik Joseph O'Flaherty nevű színész már be volt jegyezve az Actors Equity-nél.
Hét chicagói év után Torontóba költözött, hogy segítsen megalapítani a torontói Second City színtársulatot. Ezekben az években az SCTV egyik eredeti írója és előadóművésze volt: nyolc évet töltött a műsorban, és olyan karaktereket játszott, mint Big Jim McBob. Flaherty számos hírességet is megszemélyesített, többek között Kirk Douglast, Richard Nixont, Gregory Pecket, Alan Aldát, Bing Crosbyt, és Elvis Presleyt.
Filmes és televíziós szerepek
Az SCTV 1984-ben fejezte be tevékenységét. Még ugyanebben az évben Flaherty játszotta Floyd grófot egy rövidfilmben. Ezt a Rush rockzenekar koncertjein vetítettek a The Weapon című dal előtt, a Grace Under Pressure album megjelenése kapcsán rendezett turnéjukon.
1988-ban újra megformálta a grófot a The Completely Mental Misadventures of Ed Grimley című animációs sorozat élőszereplős részeiben, amelyet egy másik SCTV-s öregdiák, Martin Short alkotott meg, illetve szinkronizált.
Flaherty számos kultuszfilmben szerepelt: a Western Union postai alkalmazottjaként tűnt fel a Vissza a jövőbe II. (1989) című filmben, Doc Brown 70 éves levelét kézbesítve Marty McFlynak. A Happy, a flúgos golfos című filmben ő volt az őrült „seggfej!” kiabáló rajongó, aki titokban az antagonista Shooter McGavinnek dolgozik. A Family Guy nyolcadik évadjában Flaherty ismét a Western Union emberét alakította a Valami, valami, valami, valami, sötét oldal című részben.
1997-1998 között szerepelt az egy évadot megélt Rendőrakadémia című televíziós sorozatban, mint Stuart Hefilfinger parancsnok. 1999-ben Flaherty csatlakozott a Különcök és stréberek című, az NBC 1980-1981-es évadban játszódó vígjáték-drámasorozatának szereplőgárdájához. A sorozatban Harold Weirt, két tinédzser „tökéletlen tökéletes” apját alakította. A CBS Férjek gyöngye című sitcomjában McAndrew atyaként, a Heffernanék templomának papjaként tűnt fel. 2001–2004 között feltűnt a Disney Tarzan legendája című sorozatában, illetve A legelő hősei című filmben.
2018-ban részt vett a torontói Elgin Theatre-ben tartott SCTV találkozón, amelyet Martin Scorsese forgatott le egy még ki nem adott, az SCTV-ről szóló Netflix különkiadáshoz.
2004-től kezdve a torontói Humber College's School of Creative and Performing Arts művészeti rezidense volt, ahol vígjátékíró kurzust tartott. Korábban segített megalapítani az iskola komédiaíró és előadói programját, amelynek művészeti vezetőjeként szolgált. Tagja volt a program tanácsadó bizottságának is.
