Alonso de Castro y Ponce de León, señor de Castroverde fue hijo de Álvar Pérez de Castro, primer conde de Arraiolos, primer conde de Viana da Foz do Lima y primer condestable de Portugal, y de su esposa María Ponce de León. A su vez, era nieto, por línea paterna, de Pedro Fernández de Castro el de la guerra, señor de la Casa de Lemos y de la dama portuguesa Aldonza Lorenzo de Valladares. Por línea materna sus abuelos fueron Pedro Ponce de León el Viejo, señor de Marchena y Bailén, y su esposa Beatriz de Jérica. Por lo tanto, Alonso de Castro descendía por vía paterna, de la Casa Real de Castilla, siendo biznieto de Sancho IV, rey de Castilla y León. Por vía materna, era descendiente directo de Jaime I de Aragón.
Sus hermanos fueron:
- Pedro de Castro el Tuerto, señor de Cadaval, que casó con Leonor Téllez de Meneses, cuya descendencia dio continuidad a la casa de Cadaval;
- Beatriz de Castro, casada con Pedro de Lara, conde de Mayorga, matrimonio que no tuvo descendencia;
- Isabel de Castro, casada con don Pedro Enríquez de Castilla conde de Lemos, cuya descendencia dio continuidad a la casa de Lemos.
