Antes de começar a gravar seu primeiro projeto, o cantor lançou um EP intitulado Taste It, com quatro faixas, incluindo "Taste It", que mais tarde foi incluída em seu álbum de estreia. Durante sua gravação, Jake lançou quatro canções de divulgação, sendo que uma delas, "Lightning Bolt", foi tocada durante a cerimônia dos Jogos Olímpicos de Verão de 2012 e tendo alcançado o 26º lugar da UK Singles Charts. Em 15 de outubro de 2012, foi lançado seu primeiro material que levava seu nome, chegando à primeira colocação no Reino Unido e à 75ª posição na Billboard 200 — principal gráfico dos Estados Unidos. Desde então, foi certificado como disco de platina dupla pela British Phonographic Industry (BPI), comercializando mais de 600 mil unidades ao redor do território britânico. O álbum ainda foi responsável por criar "Broken", sua obra de maior sucesso nas tabelas musicais.
No final de 2013, Bugg foi reconhecido como o melhor artista revelação através da Q Awards. No mesmo período, divulgou seu segundo material de inéditas, Shangri La. Influenciado pela faceta do punk rock, o trabalho estreou no terceiro lugar da UK Albums Chart, sendo certificado como disco de ouro no Reino Unido em pouco mais de um mês. "What Doesn't Kill You", a primeira faixa usada em sua divulgação, alcançou a 36ª colocação na Alternative Songs, organizada pela Billboard. No ano seguinte, disponibilizou Messed Up Kids (EP), contendo três canções inéditas. Seus materias seguintes, On My One (2016) e Hearts That Strain (2017) não repetiram o sucesso comercial de seus antecessores.