Larrabee plaatste zich voor de Olympische Zomerspelen 1964 en won de gouden medaille op de 400 meter. Met zijn dertig jaar is hij tot op heden de oudste olympisch kampioen op de 400 meter. Met zijn ploeggenoten won hij ook de gouden medaille op de 4 x 400 meter estafette in een wereldrecord.