Op de Olympische Spelen van 1964 in Tokio werd hij als tweede loper olympisch kampioen op de 4 × 100 m estafette. De Amerikaanse estafetteploeg, bestaande uit Otis Drayton, Gerald Ashworth, Richard Stebbins en Robert Hayes, verbeterde op 21 oktober 1964 het wereldrecord op deze afstand tot 39,0 s.