Jest wychowankiem klubu GSC Moers. Po kilku latach występów w Krefeld Pinguine w lidze DEL, w drafcie NHL z 2001 został wybrany przez San Jose Sharks z numerem 106 (z numerem 107 został wybrany jego rodak, Dimitri Pätzold, także przez klub SJS). W 2003 wyjechał do USA. Tam początkowo grał w lidze AHL, a od 2005 na stałe występował w San Jose w rozgrywkach NHL. Od 2009 przez dwa lata grał w kanadyjskim Vancouver Canucks. Od czerwca 2011 zawodnik Buffalo Sabres. Podpisał wówczas 10-letni kontrakt z klubem. Od września 2012 do stycznia 2013 tymczasowo na okres lokautu w sezonie NHL (2012/2013) związany kontraktem z macierzystym klubem z Krefeld. W czerwcu 2014 władze klubu z Buffalo wykupiły jego kontrakt i Ehrhoff stał się wolnym zawodnikiem. Od lipca 2014 zawodnik Pittsburgh Penguins. Od sierpnia 2015 zawodnik Los Angeles Kings. Od końca lutego 2016 zawodnik Chicago Blackhawks. Od końca października 2016 zawodnik Kölner Haie. Po sezonie DEL (2017/2018) zakończył karierę.