Rayo Vallecanon menestys on ollut paljon vaatimattomampaa kuin sen paikallisvastustajien Realin ja Atléticon. Seura nousi pääsarja Primera Divisióniin ensimmäistä kertaa kaudeksi 1977–1978, ja piti paikkansa kolmen kauden ajan. 1980-luvun Rayo Vallecano vietti Segunda Divisiónissa ja 1990-luku oli seuralle aaltoliikettä Primera Divisiónin ja Segunda Divisiónin välillä. Noustuaan Juande Ramosin valmentamana takaisin pääsarjaan kaudeksi 1999–2000 Rayo jopa johti sarjaa neljän kierroksen ajan ja sijoittui lopulta historiallisesti yhdeksänneksi.
Vuonna 2000 Rayo Vallecano sai UefanFair Play -arvonnassa paikan kauden 2000–2001 Uefa-cupiin, jossa se pudotti Constel·lación, Molden, Viborgin, Lokomotiv Moskovan ja Bordeaux’n ennen puolivälierätappiota tulevalle loppuottelijalle Alavésille. Myöhemmin seura ajautui vaikeuksiin ja kärsi kaksi peräkkäistä putoamista, kauden 2002–2003 päätteeksi Segunda Divisióniin ja kauden 2003–2004 päätteeksi Segunda División B:hen. Kaudeksi 2008–2009 Rayo palasi jälleen Segundaan.
Ska punk -yhtye Ska-P:n debyyttialbumilla Ska-P (1994) julkaistu kappale ”Como un rayo” on omistettu äärivasemmistolaisesta kannattajakunnastaan tunnetulle seuralle. Rayo Vallecano oli vuonna 1989 auto-onnettomuudessa Madridissa menehtyneen englantilaisen Laurie Cunninghamin viimeinen seura.