De homoseksuele geaardheid van Ludwig Victor was een publiek geheim, maar het schaadde zijn relatie met de keizer en zijn familie niet. Ze gaven hem de bijnaam “Luzi-Wuzi” en de keizer zou zelfs grapjes hebben gemaakt:
“Je zou hem een ballerina moeten geven als adjudant, dan kan er niets gebeuren!”
De bekende foto waarop Ludwig te zien is een vrouwenjurk met capuchon en een boeket bloemen is gemaakt als onderdeel van een theatervoorstelling aan het hof, waarin traditioneel alle vrouwelijke rollen door mannen werden gespeeld. (zie foto hierboven)
Ludwig Viktor zou zijn hele leven escapades hebben gehad, maar pas rond de eeuwwisseling werden de dingen “opvallend”. Dit blijkt uit de vertrouwensrapporten die de keizer ontving van het Voorlichtingsbureau – een inlichtingendienst van het ministerie van Buitenlandse Zaken – over alle gezinsleden. In 1897 is er sprake van “een onaangename rencontre” in het Weense Prater. De keizer duldde de zaken van zijn familieleden zolang ze privé bleven en zo bleef de morele integriteit van het Huis Habsburg voor de buitenwereld behouden, vooral omdat hij zelf een buitenechtelijke relatie had met Katharina Schratt. Chantage tegen Ludwig Victor werd goedgekeurd door zijn hoofdsteward, graaf Wimpffen, met discrete betalingen. Zijn opvolger uit 1899, Max Graf Thun-Hohenstein, zou de aartshertog hebben veracht, waardoor “wangedrag” steeds meer algemeen bekend werd. Incidenten als de diefstal van een waardevol horloge of een vervalste wissel door jonge mannen werden gespreksonderwerp. Maar zelfs deze hadden geen effect op de aartshertog.
Alleen een schandaal in het Weense Centralbad (tegenwoordig Kaiserbründl) in 1904, waar een bader Ludwig in het openbaar in het gezicht zou hebben geslagen, was de aanleiding voor zijn verbanning uit Wenen.
Verschillende rapporten gaan echter uit van een intrige door de troonopvolger, aartshertog Franz-Ferdinand, die wraak wilde nemen voor het kleineren van zijn vrouw door Ludwig. Het incident, dat op zich onbeduidend was, werd pas bekend nadat twee vrienden van de troonopvolger, prinses Nora Fugger en graaf Adalbert Sternberg, het openbaar hadden gemaakt. De vertrouwelingen van Franz Ferdinand, graaf Heinrich Taaffe en prins Konrad zu Hohenlohe-Schillingsfürst, beschreven de affaire aan de keizer “in de meest opzichtige kleuren” en premier Ernest von Koerber “slaagde erin de aartshertog stagiair te krijgen in Klessheim”. De keizer, die ervoor zorgde dat het Archhouse niet in diskrediet werd gebracht, wilde zijn broer uit de vuurlinie houden. In die tijd was het uitleven van homoseksualiteit een strafbaar feit dat de officier van justitie eigenlijk verplicht was te vervolgen, en de schandalen rond Friedrich Alfred Krupp , Franz Joseph von Braganza en korte tijd later de langzittende Duitse ambassadeur in Wenen Philipp zu Eulenburg vond luide persecho en droeg bij aan een steeds homofoober sociaal klimaat. De stoombadaffaire werd echter niet besproken in de Oostenrijkse pers. Alleen de Weense satirische krant Kikeriki maakte toespelingen.
