História
A banda se formou como um trio quando eles foram recrutados para compor uma trilha sonora de um filme adulto mudo. Loïc Barrouk se interessou pelo projeto e reservou para a banda um estúdio de gravação e uma série de shows. Foram necessários mais artistas para os concertos ao vivo e os outros três membros atuais da banda foram encontrados após uma busca no MySpace.
Eles se tornaram popular na internet após lançar uma série de demos e singles promocionais. De 2006 até 2007 eles gastaram um ano fazendo turnê pela França, e sua primeira aparição em um festival veio no Django Reinhardt Jazz Festival em 2007. Após este surgimento, o grupo foi teve contrato assinado pela gravadora com sede em Paris Wagram Music. Eles passaram o ano seguinte gravando material para seu álbum de estréia em estúdio.
Em 20 de outubro de 2008 o álbum de mesmo título da banda Caravan Palace foi lançado, precedido pelo single "Jolie Coquine", O álbum recebeu elogios por suas inclinações ao Jazz e foi colocado em várias paradas de álbuns europeus. Na Suiça, o álbum alcançou uma posição de 72 e na Bélgica alcançou uma posição de 42. O álbum teve melhor desempenho na França, país originário da banda, onde alcançou uma posição de pico de 11 em agosto de 2009, e se manteve nas paradas musicais francesas por 68 semanas consecutivas. A banda lançou seu segundo single oficial, "Suzy", em 24 de Fevereiro de 2009.
Em 3 de Outubro de 2011, lançaram um extended play (EP) titulado Clash, com duas novas canções e quatro remixes delas. O segundo álbum da banda, Panic, foi lançado em 5 de Março de 2012
Em 2014, a banda remixou o single de Drake Bell "Bitchcraft".
Eles lançaram o single "Comics", em 22 de Junho de 2015, e seu segundo single "Lone Digger" em 18 de Setembro de 2015.
