Casó segunda vez en Madrid (Real Capilla de El Pardo) el 25 de enero de 1654 con Catalina Fajardo de Mendoza, dama de la reina, iiimarquesa de San Leonardo, con sucesión en el condado.
Catalina Ventura Colón de Portugal y Ayala Toledo (1690-1739), vi condesa de Ayala, ix duquesa de Veragua y de la Vega, x marquesa de Jamaica, iii marquesa de San Leonardo, xii marquesa de la Mota, iv marquesa de Tarazona, v condesa de Villalonso, ixcondesa de Gelves, x condesa de Monterrey, xivizcondesa de Monterrey, xiAlmiranta de la Mar Océana y ix Adelantada Mayor de las Indias.
Carlos Bernardo Fitz-James Stuart y Silva (1751-1787), viii conde de Ayala, xi duque de la Vega G.E., xi duque de Veragua G.E., iv duque de Berwick G.E., ivduque de Liria y JéricaG.E., xv conde de Lemos G.E., xii marqués de Sarria, xii marqués de la Jamaica, vi marqués de Tarazona, v marqués de San Leonardo, xiv marqués de la Mota, xiii conde de Andrade, {{versalita|xiv} conde de Villalba, xii conde de Monterrey, xi conde de Gelves, , xiii vizconde de Monterrey, xiii Almirante de la Mar Océana, xi Adelantado Mayor de las Indias.