Summerall jogou 10 anos na National Football League (NFL) como kicker do Chicago Cardinals e New York Giants (1952-1961) e a partir dos anos 70 se tornou a voz da NFL, passando mais 40 anos narrando a maioria dos grandes jogos. Fez uma parceria de mais de 20 anos com John Madden, seu companheiro de transmissão esportiva.
Fora da NFL, Summerall narrou 16 Super Bowls na televisão e outros 10 no rádio. Passou 29 anos trabalhando para a CBS, depois se mudou para a FOX, trabalhou também na ESPN.
Em 1999, Pat Summerall foi introduzido pelos membros do American Sportscasters Association (ASA) no Hall da Fama.
Foi o pai de Susie Wiles conhecida por "Dama-de-ferro", chefe da campanha da presidência de Donald Trump em 2024 e que a convidou para chefe do staff da Casa Branca dos USA.