Na de vroege dood van Maria Anna Karolina (die stierf op vierjarige leeftijd), wilden haar ouders een meisje. Na Maria Anna baarde aartshertogin Sophie een stil geboren zoon. Daarna raakte ze opnieuw zwanger, opnieuw een jongen, Ludwig Victor (“Hetzi”). Met zijn uitbundige manier van doen zorgde hij voor tal van anekdotes en amuseerde hij de familie. De tableaux vivants speelden daarbij een bijzondere rol. Aartshertogin Sophie hield ervan haar zoon te verkleden en hem in allerlei kostuums te laten verschijnen.
Als jongste zoon werd hij verwend door zijn overigens strenge moeder. Vanwege het leeftijdsverschil met zijn broers groeide hij min of meer alleen op en bracht hij het grootste deel van zijn tijd door bij zijn moeder en haar hofdames. Daarbij ontwikkelde hij zijn talent voor charmant en geestig amusement. Tijdens de revolutie van 1848 vluchtte hij met de keizerlijke familie naar Innsbruck in maart 1848 en naar Olmütz na het uitbreken van de Oktoberopstand in Wenen in 1848. Op 2 december 1848 besteeg zijn 18-jarige broer, Franz Joseph de keizerlijke troon.
