Den 11. januar 1901 blev Vanderbilt gift med Ellen (“Elsie”) Tuck French i Newport, Rhode Island. Hun var datter af Francis Ormond French (1837-1893) og hans hustru Ellen Tuck (1838-1915), og hun var nær veninde med Vanderbilts søster, Gertrude Vanderbilt Whitney, som var gift med Harry Payne Whitney. Senere samme år, den 24. november 1901, fødte Elsie deres eneste barn: William Henry Vanderbilt III (1901-1981), senere guvernør i Rhode Island.
I marts 1908 flyttede Elsie til sin bror, Amos Tuck French, i Tuxedo Park, New York. Kort efter brød en skandale ud i april 1908, efter at Elsie søgte om skilsmisse, idet hun hævdede utroskab med Agnes O’Brien Ruíz, hustruen til den cubanske attaché i Washington, D. C.. Omtalen, som forårsagede splittelse om hvem der skulle støttes, fik i sidste ende Agnes Ruíz til at begå selvmord i 1909. Elsie, som giftede sig igen, døde i Newport den 27. februar 1948.
Vanderbilt tilbragte lang tid i London efter skilsmissen og giftede sig der igen, den 17. december 1911, med den velhavende amerikanske fraskilte Margaret Mary Emerson (1886-1960). Hun var datter af kaptajn Isaac Edward Emerson (1859-1931) og Emily Askew Dunn (1854-1921), og var arving til Bromo-Seltzer-formuen. Margaret havde fra 1902-1910 været gift med Dr. Smith Hollins McKim (død 1932), en velhavende læge fra Baltimore. Sammen havde Alfred og Margaret to børn: Alfred Gwynne Vanderbilt Jr. (1912-1999), forretningsmand og opdrætter af væddeløbsheste, og George Washington Vanderbilt III (1914-1961), lystsejler og videnskabelig opdagelsesrejsende.
Efter Alfreds død om bord på Lusitania i 1915 købte Margaret et gods på 316 hektar i Lenox, Massachusetts, med et palæ med 47 værelser. Hun giftede sig igen to gange, første gang den 12. juni 1918 i Lenox Raymond T. Baker (1875-1935), en politiker, med hvem hun fik en datter, Gloria Baker (1920-1975). Kravet om hans bo blev fremsat af Margaret, som på det tidspunkt allerede var gift igen. Nettoværdien af boet, efter betaling af al gæld og begravelses- og administrationsudgifter, var 15.594.836,32 dollars.
I henhold til hans testamente skulle Margaret og hans tre sønner arve 1.180.098,18 dollars. Derudover brugte og bidrog han til deres underhold og til støtte og komfort for hans enke og børn med ca. 300.000 dollars årligt.
InteresserRediger
Vanderbilt var en sportsmand, og han nød især rævejagt og coaching. I slutningen af det 19. århundrede praktiserede han og en række andre millionærer, såsom James Hazen Hyde, de gamle engelske trænerteknikker fra begyndelsen af det 19. århundrede. Gruppen mødtes i nærheden af Holland House i London og kørte med deres køretøj på en endags-, to-dages- eller længere tur ad udvalgte ruter gennem flere amter og tog på forhånd aftalte kroer og hoteller langs ruterne. Vanderbilt kørte ofte kusken, i perfekt klædt jakkesæt, en kusk eller en brudgom. Han er registreret som en regelmæssig gæst på Burford Bridge Hotel nær Box Hill i Surrey, hvor han, når han kørte fra London til Brighton, holdt ind for at spise frokost og hente telegrammer. Han elskede oplevelser i det fri.
I 1901 købte han Great Camp Sagamore, ved Sagamore Lake i Adirondacks, af William West Durant. Han udvidede og forbedrede ejendommen for at inkludere toiletter med skylletoiletter, et kloaksystem og varmt og koldt rindende vand. Senere tilføjede han et vandkraftværk og en udendørs bowlingbane med et genialt system til at hente kuglerne op. Andre faciliteter omfattede en tennisbane, en kroketplæne, et 100.000 gallon reservoir og en fungerende gård.
RMS LusitaniaRediger
Den 1. maj 1915 gik Vanderbilt om bord på RMS Lusitania med kurs mod Liverpool som passager på første klasse. Det var en forretningsrejse, og han rejste kun med sin kammertjener, Ronald Denyer, og efterlod sin familie hjemme i New York.
Den 7. maj, ud for kysten af County Cork i Irland, torpederede den tyske ubåd U-20 skibet, hvilket udløste en sekundær eksplosion, der sænkede det gigantiske oceangående skib i løbet af 18 minutter. Vanderbilt og Denyer hjalp andre i redningsbåde, og derefter gav Vanderbilt sin redningsvest for at redde en kvindelig passager. Vanderbilt havde lovet den unge mor til et lille barn, at han ville finde en ekstra redningsvest til hende.
Da det ikke lykkedes, tilbød han hende sin egen redningsvest, som han sågar selv bandt hende på, da hun på det tidspunkt holdt sit spædbarn i armene. Mange betragter hans handling som særlig modig og galant, da han ikke kunne svømme, og han vidste, at der ikke var andre redningsveste eller redningsbåde til rådighed. På grund af hans berømmelse observerede flere personer på Lusitania, der overlevede tragedien, ham, mens begivenhederne udspillede sig på det tidspunkt, og derfor noterede de sig hans handlinger. Han og Denyer var blandt de 1.198 passagerer, der ikke overlevede ulykken. Hans lig blev aldrig fundet.
Der har været en vis historisk forvirring om, hvilket medlem af Vanderbilt-familien der var booket på Titanic, og nyere undersøgelser har fastslået, at hans onkel George Washington Vanderbilt II faktisk var booket til at rejse på Titanic sammen med sin kone Edith og datter Cornelia, og ikke Alfred Vanderbilt.
Et mindesmærke blev rejst på A24 London to Worthing Road i Holmwood, lige syd for Dorking. Indskriften lyder: “Til minde om Alfred Gwynne Vanderbilt, en galant gentleman og en god sportsmand, der omkom i Lusitania den 7. maj 1915. Denne sten er rejst på hans yndlingsvej af nogle få af hans britiske trænervenner og beundrere”. Et andet mindesmærke for Vanderbilt findes i en lille park på Broadway i Newport, Rhode Island, hvor medlemmer af Vanderbilt-familien tilbragte deres somre.