Olsen voksede op under beskedne kår som søn af teglværksbestyrer, senere partikulier, Jeppe Olsen (død 1909) og hustru Bengta f. Cavling (død 1922), lillebror til Henrik Cavling (f. 1858) og tvillingebror til Freilif Olsen.
Han blev gift 2. april1894 med Ida Wilhelmine Grüttner (1. juni 1867 – 1922), datter af købmand W. Grüttner i Sæby (død 1872) og hustru f. Bech (død 1872).
Ved borgmestervalget i 1921 havde Socialdemokraterne og de Konservative hver vundet 11 mandater, og Olsens enlige radikale mandat blev dermed stemmen på vægtskålen. Forhandlingerne løb helt frem til byrådsmødet 2. april 1921, hvor Olsen valgtes med konservativ støttet og blot én stemmes flertal.
Borgmesterperioden var præget af, at Olsen kunne regere på skiftende flertal, og han holdt hånden under den udfordrede kommunale økonomi med konservativ støtte, men førte boligpolitik med socialdemokratisk. I 1921 trængte arbejdsløse ind i byrådssalen under møder; Olsen undlod i modsætning til forgængeren at gå i dialog.
Ved det efterfølgende valg i 1925 fik Socialdemokraterne flertal, og Olsen efterfulgtes af Marinus Jørgensen.
