Clubcarrière
Landskrona BoIS
Olsson speelde zijn hele jeugd voor Landskrona BoIS, uit zijn geboortestad Landskrona. In 2003 debuteerde hij hiervoor in het eerste elftal. Na 56 wedstrijden in twee en een half seizoen vertrok Olsson in 2005 naar Nederland.
N.E.C.
Hij vertrok naar N.E.C., dat hem met behulp van geld van sponsoren kon betalen. In zijn eerste seizoen speelde hij gelijk alle 40 wedstrijden in de Eredivisie, de KNVB Beker en de play-offs om Europees voetbal. Het jaar daarop haalde N.E.C. opnieuw de play-offs, maar verloor het opnieuw, ditmaal in de finale tegen Vitesse. In het laatste seizoen van Olsson won N.E.C. de play-offs. In zijn een-na-laatste wedstrijd tegen NAC Breda (6-0 winst), scoorde Olsson de eerste twee wedstrijden. Hij speelde dat seizoen opnieuw meer dan 30 wedstrijden. In totaal kwam Olsson in drie seizoenen tot 112 officiële wedstrijden, waarin hij acht keer scoorde. Hij nam afscheid en vertrok naar Engeland.
West Bromwich Albion
In 2008 werd Olsson voor £800.000,- overgenomen door West Bromwich Albion. Hij degradeerde in zijn eerste seizoen naar het Championship, maar promoveerde direct terug. Op het tweede niveau scoorde Olsson vier keer in 43 wedstrijden. Daarna speelde Olsson acht seizoenen achter elkaar in de Premier League met WBA. In het seizoen 2014/15 leek zijn basisplaats definitief verleden tijd, maar in het seizoen erna kwam hij toch weer tot 28 wedstrijden.
Djurgårdens en Wigan
Hij verruilde West Bromwich Albion in maart 2017 voor Djurgårdens IF. Eind 2018 verliet hij de club. Hij maakte het seizoen af in Engeland bij Wigan Athletic. Op 20 september 2019 maakte hij zijn pensioen als speler bekend.
Landskrona, Zweden
