Crystal Palace
Routledge a Crystal Palace-nál kezdte pályafutását. 2001 októberében, 16 évesen debütált a West Bromwich Albion ellen. 2002 szeptemberében, 17 évesen a Wolves ellen pályára lépése után csupán egy perccel gólt szerzett.
Fontos tagja volt a csapatnak, mikor a 2003–04-es szezonban feljutást nyertek a play-off során, azonban a következő idényben már vissza is csúsztak a másodosztályba. Routledge viszont maradt az élvonalban a Tottenham Hotspur révén, akik 2005. július 1-jén leigazolták. A két klub nem tudott megegyezni a játékos áráról, így az ügy bíróság elé került. A Palace kezdésként 1.25 millió fontot kapott, ami Routledge mérkőzéseitől függően 2 millióra növekedhet.
Tottenham Hotspur
Miután a szezon előtti mérkőzéseken jól teljesített, pályafutása a csapatnál nem a vártnak megfelelően kezdődött; bemutatkozó mérkőzésén a bajnokságban eltörte a lábát, és csak 2005. december 12-én tért vissza a Portsmouth ellen.
A 2006 januári átigazolási időszakban kölcsönadták a Portsmouth-nak. A csapatban 13-szor lépett pályára, mielőtt visszatért a Spurs-höz a szezon végén. Routledge mély benyomást tett a Portsmouth edzőjére, Harry Redknapp-re, mikor a Bolton Wanderers elleni hazai mérkőzésen 2006 márciusában 1–0-s Bolton vezetésnél csupán három perccel lefújás előtt a nemrég csereként beállt Routledge három Bolton játékost lehagyva a 16-oson belül a Matthew Taylor-tól kapott labdát előkészítette Azar Karadas-nak, aki egy látványos lövéssel egyenlített.
2006 augusztusában ismét kölcsönadta a Spurs, ezúttal egy évre a Fulham-hez, cserébe Steed Malbranque érkezett a White Hart Lane-re. A Newcastle United ellen debütált a sérült Jimmy Bullard cseréjeként a 34. percben.
