Leopold werd uitgehuwelijkt op 18-jarige leeftijd. Op 22 augustus 1853 huwde hij in Brussel met aartshertogin Maria Hendrika van Oostenrijk. Keizer Frans Jozef verleende Leopold de orde van het Gulden Vlies als huwelijksgeschenk. In 1855 maakte Leopold met zijn echtgenote, Maria Hendrika, een lange reis door de Middellandse Zee en hij bracht een bezoek aan Rome en het Vaticaan. Hij werd er ontvangen door paus Pius IX.
Leopold en Maria Hendrika kregen samen vier kinderen:
- Louise
- Leopold
- Stefanie
- Clementine
Na de dood van hun zoon, kroonprins Leopold, verzuurde het huwelijk tussen Leopold en Maria Hendrika. Na de geboorte van hun jongste dochter Clementine ontstond er een breuk tussen de twee echtgenoten. Omdat Leopolds enige zoon en troonopvolger op jonge leeftijd overleed, werd zijn broer, prins Filips, graaf van Vlaanderen, de wettige troonopvolger; maar daar deze nagenoeg doof was, achtte Leopold hem niet in staat de Belgische troon te bestijgen. Hij vestigde zijn hoop op diens zoon Boudewijn, die echter eveneens vroegtijdig stierf. Uiteindelijk stierf ook Filips nog vóór Leopold, en werd Leopold II rechtstreeks opgevolgd door Albert, Boudewijns jongere broer.
De Franse danseres prinses Cléo de Mérode zou geruime tijd de maîtresse van Leopold zijn geweest, hoewel zij dat altijd heeft ontkend. De koning heeft een tijdlang de spotnaam Cléopold gekregen en er circuleerden spotprenten over deze vermeende affaire.
Nadat de koningin in 1902 overleden was, kreeg Leopolds minnares Blanche Delacroix, barones de Vaughan (1883-1948), een vaste residentie in Laken, in de Villa Vanderborght en ook een in Oostende.
Blanche Delacroix schonk de oude vorst twee buitenechtelijke zoons:
- Lucien Philippe Marie Antoine
- Philippe Henri Marie François
Toen Blanche zwanger was van haar tweede zoon, liepen er geruchten, dat niet Leopold, maar haar vroegere minnaar Durrieux – waarmee ze na de dood van Leopold huwde – de vader was. Durrieux dook in die tijd ook te pas en te onpas op in Brussel. Haar tweede zoon werd geboren met atrofie aan de linkerhand; juist die handicap was voor Leopold het bewijs dat hij de vader is. Vijanden van de koning spotten dat het jongetje “een stompje heeft zoals de negers bij wie Leopold een hand heeft laten afhakken”.
De koning was dolgelukkig en bedroefd tegelijk; na drie dochters en een voortijdig gestorven zoon had hij ineens twee zonen, maar deze waren uitgesloten van de Belgische troon. De koning bedacht ze met titres de courtoisie (zonder decreet of erkenning) van hertog van Tervuren en graaf van Ravenstein. Ze kregen samen met hun moeder een groot deel van de erfenis, in tegenstelling tot zijn dochters. Leopold trouwde vijf dagen voor zijn dood met Blanche in een religieuze ceremonie, die geen enkele validiteit had onder de Belgische wet. Na haar tweede huwelijk kregen de jongens de naam Durrieux.
