A editora discográfica foi fundada por Rick Rubin no dormitório da Universidade de Nova Iorque e o seu primeiro lançamento foi de um single do seu grupo de punk rock, Hose. Russell Simmons juntou-se a Rubin logo depois e foram apresentados um ao outro por DJ Jazzy Jay. O primeiro single lançado com um logótipo da Def Jam Recordings foi "It's Yours" de T La Rock & Jazzy Jay. Os primeiros lançamentos com número de catálogo da editora foram "I Need a Beat" de LL Cool J, e "Rock Hard" dos Beastie Boys, ambos em 1984. As canções venderam bem, levando a um acordo de distribuição com a CBS Records (que mais tarde se tornaria Sony Music Entertainment). O primeiro álbum, lançado pela Def Jam foi Radio, de LL Cool J, em novembro de 1985.
Em 1986, foi criada uma editora subsidiária chamada OBR Records, agregando artistas de R&B, sendo que o primeiro artista que assinou contrato foi Juice "Oran" Jones. A editora também assinou com a banda de Thrash Metal,Slayer. À medida que a década se aproximava do fim, foi fechado contrato com o conjunto Public Enemy, cujo conteúdo controverso lírico garantiu à empresa tanta aclamação da crítica e desdém. Lyor Cohen tornou-se presidente em 1988, depois de vencer uma disputa de poder com Rubin, que viria a deixar a companhia para formar a Def American Recordings (agora conhecida como American Recordings).
Aquisição por parte da PolyGram
No início de 1990, a empresa criou "Rush Associated Labels," uma maior empresa em que Def Jam e os seus diversos rótulos auxiliares funcionam como filiais. Até 1992, apesar de recente libera de venda de multi-platina pela ONYX, LL Cool J, Public Enemy, e EPMD, Def Jam enfrentou graves problemas financeiros e foi confrontado com dobradura. A salvação veio em 1994, no entanto, quando Polygram adquiriu participação de 50% da Sony na Def Jam - posteriormente, adicionando no seu rótulo. Após a aquisição da PolyGram, foi lançado o álbum Regulate... G Funk Era de Warren G, que alcançou a tripla platina e efectivamente revivido no rótulo.
PolyGram adquiriu um adicional de 9,8% da Def Jam Recordings em 1995, fortalecendo ainda mais a propriedade da empresa. Pouco tempo depois, "Rush Associated Labels" foi renomeada "Def Jam Music Group." Permaneceram no preto, até ser lançado o álbum Mr. Smith de LL Cool J no mesmo ano. A editora mais tarde assinou um então adolescente Foxy Brown, cujo álbum de estreia foi Ill Na Na, tornando-se platina em 1997.
Aquisição por parte da Universal Music Group
Fabolous, um dos artistas da Def Jam, gravando num dos estúdios da editora.
Em 1998, a PolyGram foi comprada pela Seagrams e fundidas na Universal Music Group. Na sequência da aquisição da Universal Music Group da PolyGram, que adquiriu as acções restantes da Def Jam Recordings de Russell Simmons por 100 milhões de dólares americanos. Simmons passou a concentrar-se mais mais na sua linha de roupas e na Hip-Hop Summit Action Network (HSAN). Universal mesclou a Def Jam com Island Records para formar The Island Def Jam Music Group.
Lyor Cohen foi nomeado presidente da IDJMG, e Kevin Liles sucedeu como presidente da Def Jam. Em 1999, foi criada uma subordinante da editora, a Def Soul Records, que herdou muitos dos artistas urbanos da Island Records, incluindo Dru Hill e seu vocalista Sisqo, Caetano Veloso e Kelly Price. Def Soul também divulgou gravações de Musiq, Montell Jordan, Case, 112, Patti LaBelle, e Christina Milian.
Ainda em 1999, a editora também começou a distribuir comunicados por Murder Inc. Records, dirigido pelo ex-executivo da Def Jam, Irv Gotti. A lista de artistas já incluíam cantores como, Ja Rule e Ashanti. No ano seguinte, lançou outra filial, Def Jam South, que se concentrou no rap soul, tendo seus lançamentos distribuídos em conjunto com outras editoras, como a Disturbing tha Peace Records. A Def Jam South começou a distribuição de artistas da Slip-N-Slide Records, como Trina, Rick Ross, Plies, e outros.
Em 2000, Lyor Cohen anunciou a Def Jam Germany, a primeira empresa internacional da companhia. Isto aumentou a presença da editora internacionalmente. Def Jam Germany, que assinou com rappers alemães como Spezializtz e Philly MC. A sede foi estabelecida em Berlim, Alemanha e abriu no dia 23 de Maio. Além de assinar contraltos e comercializar artistas locais, Def Jam Germany também promoveu artistas americanos no território alemão.
Em 2002, Def Soul foi absorvida pela sua editora-mãe Def Jam. Um ano depois, Murder Inc. tornou-se o centro de uma investigação de lavagem de dinheiro,envolvendo lucros ilegais a partir de tráfico de drogas, levando à eventual libertação da editora a partir do seu contrato de distribuição em 2005. Roc-A-Fella Records foi vendida para a empresa em 2004, altura em que tinha Kanye West tinha iniciado a sua carreira.
Cohen deixou IDJMG para vigorar na Warner Music Group, e foi substituído pelo ex-executivo da Arista, LA Reid. Em 2005, Reid nomeou Jay-Z como presidente da Def Jam, que lançou novos atos de sucesso, como Rihanna e Ne-Yo. Jay-Z demitido no final do ano de 2007, permanecendo como artista da Roc-a-Fella/Def Jam. Após a demissão, LA Reid assumiu a liderança. Foi anunciado no início de junho de 2008, que o executivo da Def Jam A&R, Shakir Stewart, tinha-se tornado vice-presidente. Em 1 de Novembro de 2008, veio a público a notícia de seu suicídio.
Estados Unidos
