Hij was zoon van Lijsje Wals en Cornelis Olij, die in 1908 naar Landsmeer vertrokken. Vanaf 1929 woonde hij weer in Amsterdam (met korte perioden elders). Hijzelf was getrouwd met Willempje Hottentot. Zonen Jan Olij en Kees Olij werden eveneens bokser.
Olijs naam komt in de jaren twintig voor in de Nederlandse pers, als amateurkampioen van Amsterdam in 1922, 1925 en 1926. In dat laatste jaar werd hij ook Nederlands amateurkampioen zwaargewicht (hij zou dat in de jaren dertig nog een aantal keer herhalen). Hij bokste toen internationaal met wedstrijden in Kopenhagen, Oslo en Krefeld.
In 1928, toen Amsterdam gastheer was van de Olympische Spelen, verloor hij in de kwartfinales van het zwaargewicht (tot 91 kilogram) van de latere olympisch kampioen Rodriques Jurado uit Argentinië. Olij maakte deel uit van een zeskoppige selectie, onder wie Ben Bril, Bep van Klaveren en Karel Miljon, die onder leiding stond van trainer Theo Huizenaar. Tijdens de openingsceremonie van de Olympische Spelen mocht hij als vlaggendrager de Nederlandse vlag binnendragen. Hij was toen amateurbokser, die voltijd politieagent was en in die hoedanigheid ook wel namens die politie bokste tegen andere (buitenlandse) politieboksclubs. In 1940 was hij zo bekend dat hij een klein rolletje speelde in Ergens in Nederland; hij liet daarin zijn spierballen zien aan Fien de la Mar.
Oorlogstijd
Sam Olij was in de Tweede Wereldoorlog een beruchte politieman en Jodenjager. Zo arresteerde hij dertig blinde Joden voor de arbeidsinzet in Polen. Zijn zoon Jan Olij was actief als SS-vrijwilliger aan het Oostfront, keerde gewond terug en werkte vervolgens bij de Grüne Polizei. Jan Olij was onder andere verantwoordelijk voor het oppakken van Ben Bril, waarna deze door zijn voormalige sportgenoot Sam Olij werd bewaakt met de woorden 'plicht is plicht' om vervolgens met zijn gezin te worden afgevoerd naar het concentratiekamp Vught. Deze gebeurtenis wordt door sporthistoricus Jurryt van de Vooren 'de ergste vorm van verraad ooit in Nederland' genoemd.
Op 15 februari1944 werd een poging gedaan Sam Olij te liquideren. Onbekende daders losten vijftien à twintig schoten op de woonkamer van zijn huis aan de Kometensingel 121. Olij zelf bleef ongedeerd, greep zijn dienstwapen en schoot nog enkele schoten op de onbekende daders. Zijn zoon Kees achtervolgde de daders nog een tijdje en schoot nog enkele keren op de vermoedelijke daders, die wisten te ontkomen. Zijn vrouw raakte zwaargewond door een schot in haar rug en een schot in haar buik. Er werd een beloning uitgeloofd van 10.000 gulden, maar de daders werden nooit gevonden. Ook na de oorlog is het onduidelijk gebleven wie deze aanslag heeft gepleegd.
Na de oorlog
Hij werd na de beëindiging van de Duitse bezetting direct ontslagen en vastgezet in het Huis van Bewaring aan de Amstelveenseweg. Hij wist te ontsnappen, dook onder in Waterland, maar werd daar gesignaleerd bij een bokswedstrijd en werd weer opgepakt. Er werd bij het proces in eerste instantie de doodstraf geëist voor het oppakken en mishandelen van Joden en andere arrestanten. Deze straf werd omgezet in levenslang, maar in hoger beroep werd de straf herzien. Na een psychiatrisch onderzoek werd Olij zeer verminderd toerekeningsvatbaar geacht. Zijn straf werd uiteindelijk omgezet in vijftien jaar. Hij hoefde echter korter te zitten. Destijds was het gangbaar om na 2/3 van je straf te hebben uitgezeten voorwaardelijke invrijheidstelling volgde; die tien jaar werd nog eens gekort met een jaar vanwege één jaar gratieverlening bij de troonswisseling van Wilhelmina der Nederlanden naar Juliana der Nederlanden. Vanuit dat Huis van Bewaring stuurde hij brieven naar familie en kennissen waarin hij zichzelf als "licht geval" omschreef. In juni 1954 kwam hij dus weer vrij. Enkele weken later kwamen Bril en zijn zoon Olij tegen tijdens een zeiltocht op de Loosdrechtse Plassen, maar tot een confrontatie kwam het niet.
Olij overleed in 1975 op 74-jarige leeftijd in Amsterdam. Hij was samen met Ben Bril een van de hoofdpersonen van de eerste aflevering van Het verhaal van Nederland (De Tweede Wereldoorlog) waarin benadrukt werd hoe de twee vrienden later tegenover elkaar kwamen te staan.
Nederland