Joseph startte in de jeugdreeksen als veldrijder waar hij verschillende podia reed op de Belgische kampioenschappen. Op de weg won hij, als tweedejaars junior in 2005, het eindklassement in de Keizer der Juniores.
Zijn debuut voor Topsport Vlaanderen-Mercator, zoals de ploeg inmiddels heette, maakte Joseph in februari in de Ronde van Qatar. Later dat jaar maakte hij in Parijs-Roubaix, waar hij de finish niet haalde, zijn debuut in een Monument. Na drie seizoenen als prof moest Joseph de ploeg verlaten, waarna hij onderdak vond als eliterenner zonder contract bij Ovyta-Eijssen-Acrog.