Tizenkét évesen egy gyapotüzemben kezdett dolgozni, majd építkezéseken. Egyszer még hamisított alkoholt is árul majd az utcán... Mindezek az elvileg az afroamerikai lakosságnak fenntartott munkák lehetővé teszik számára, hogy elmerüljön az eredeti amerikai zenei kultúrában. Hamarosan hivatásává vált a blues.
Tizennyolcéves korában, 1962-ben Chicago-ba költözött Walter Horton szájharmonikáshoz. Miközben itt-ott dolgozott, vasárnap reggelente a híres Maxwell Street-i bolhapiacon játszott egyetlen fehér emberként, aki a blues-t játszott a fekete negyed szívében. „Big” Joe Williamsszel való barátságának köszönhetően a környék különböző klubjaiban játszott. Kísérte Muddy Waterst, Howlin' Wolfot és John Lee Hookert.
Kihasználva a „White Blues” divatot együttest alapított. 1966-ben az Elektra Recordsnál rögzítette első albumát („Stand back!”). Aztán következett a „Charley Musselwhite South Side” zenekara a Vanguard Recordsnál. A később klasszikusnak tartott album azonnali sikert aratott.Nem sokkal ezután Musselwhite Kaliforniában telepedett le és San Franciscoban kulcsfontosságú zenészésszé vált. Tehetsége lehetővé tette számára, hogy több mint harminc szólóalbumot rögzíthessen.
