Williams nam tweemaal deel aan de Olympische Zomerspelen, in 1972 werd hij olympisch kampioen, vier jaar later moest Williams genoegen nemen met de zilveren medaille. Aan de Olympische Zomerspelen 1980 mocht Williams niet deelnemen vanwege de Amerikaanse boycot.