1909 m. mirė pirmoji Stalino žmona Jekaterina Svanidzė. Ši mirtis jam buvo didelė netektis. Nelinkęs reikšti emocijų, o juo labiau – spalvingiems kalbos posūkiams, jau ne jaunas revoliucionierius prabilo apie š altą akmenį, įskridusį į jo širdį. Kas žino, kaip būtų susiklosčiusi pasaulio istorija, jei šis ledinis ir kietas objektas nebūtų sutraiškęs būsimojo didžiausios pasaulio šalies vadovo krūtinės? Tačiau subjunktyvinės nuotaikos šiam mokslui yra svetimos.
Iš jo mylimos žmonos buvo Jokūbo sūnus, tik kūdikis. Tėvas neturėjo laiko rūpintis savo auklėjimu, turėjo kitų reikalų. Berniukas užaugo pas močiutę, motiną Jekateriną (Kato) Tbilisyje, vėliau mokėsi Maskvoje - iš pradžių mokykloje, o vėliau kolegijoje, elektrotechnikos specialybę. Sunku apibūdinti sūnaus ir tėvo santykius, juos liudijančios medžiagos yra labai mažai. Faktai byloja apie nesėkmingą bandymą nusižudyti dėl nelaimingos meilės. Šūvį į krūtinę piktai pasmerkė Jokūbo tėvas, jam faktiškai buvo atsisakyta namo.
Sunku pasakyti, ar sovietų diktatorius mylėjo savo vyriausią sūnų. Visa šalis žavėjosi Stalino drąsa, kuris atsisakė išgelbėti prie Vitebsko sučiuptą vyresnįjį leitenantą Džugašvilį ir praktiškai pasmerkė jį mirčiai. Kita vertus, viskasPraėjus metams po sūnaus mirties, pasaulio komunistinio judėjimo lyderis vilkėjo juodus marškinėlius po tunika, kaip gedulo ženklą, paslėptą, kaip daug kas gyvenime.
Antroji Stalino žmona Nadežda Sergejevna Allilujeva buvo penkiolika metų jaunesnė už savo vyrą. Profesionalios revoliucionieriaus dukrą pakerėjo po Vasario revoliucijos iš tremties grįžusio romantiško kovotojo įvaizdis. Jai tada buvo tik šešiolika, o būsimam bolševikų sąjungos komunistų partijos centrinio komiteto generaliniam sekretoriui buvo trisdešimt aštuoneri.
Aktyvi gyvenimo padėtis, nepatyrimas, naivumas ir polinkis į revoliucinį romantizmą erzino jos vyrą, siekiantį valdžios ir galios.
Jos asmeninis kuklumas pasiekė kraštutinumą – daugelis kolegų ir organizacijų, kuriose dirbo Nadežda Allilujeva, vadovų net nežinojo, kad ji yra Stalino žmona. Netgi 1921 metais norėjo ją pašalinti iš partijos, k altindami pasyvumu ir anarchosindikalizmu (tada buvo madinga ant žmogaus kabinti visokius „izmus“), tačiau vyras atsistojo. Ir Nadyusha dirbo ne bet kur, bet ir Lenino sekretoriate, „Pravda“ir „Revoliucijos ir kultūros“redakcijoje, netgi studijavo Pramonės akademijoje. Ten irgi nei mokytojai, nei mokiniai nežinojo, kad šalia jų yra Stalino žmona.
Jie susilaukė dviejų vaikų: sūnaus Vasilijaus 1921 m. ir dukters Svetlanos 1926 m. Apie antrosios Juozapo Vissarionovičiaus šeimos gyvenimą žinoma daug daugiau nei apie pirmąją. Tai tapo įmanoma dėka 1967 metais Vakaruose išleistos knygos „Dvidešimt laiškų draugui“. Kremliaus diktatoriaus dukra atskleidė daug paslapčių ir detaliųaprašė savo gyvenimą.
Antroji Stalino žmona mįslingomis aplinkybėmis nusižudė po banketo pas Vorošilovus Spalio revoliucijos 15-ųjų metinių proga. Prie stalo vyras elgėsi grubiai, ir tai galėjo išprovokuoti savižudybę. Buvo kelios įvykių versijos – nuo Nadeždos Allilujevos įsitraukimo į antivyriausybinį sąmokslą iki nuolatinės skausmingos migrenos, tačiau tiesa nebėra žinoma.
Ant Stalino žmonos kapo pastatytas paminklas, labai gražus ir išraiškingas. Jame, be vardo, pavardės ir datų, nurodoma ir partinė priklausomybė: „TSKP narys (b)“.