Ludwig was na de dood van zijn broer Ferdinand Maximiliaan, keizer van Mexico, de wettelijke troonopvolger, maar hij zag het niet zitten, hij verzamelde liever kunst. Ludwig had een voorliefde voor dameskleding en droeg dat ook. Zijn homoseksualiteit brachten het Keizerlijk huis in opspraak en daar greep keizer Franz Joseph in. Ludwig werd eerst verbannen naar het Italiaanse eiland Cápri maar ook daar waren schandalen waar Ludwig bij betrokken was. Keizer Franz Joseph besloot om zijn broertje te verbannen naar het Weense hof en hij moest in Salzburg blijven. De laatste jaren van zijn leven, leefde Ludwig teruggetrokken en leed aan symptomen van geestelijke verwarring.
Ludwig stierf op 18 juni 1919