Om de werkloze prins een taak te geven, stuurde Franz Joseph hem in 1861 naar Salzburg als keizerlijke vertegenwoordiger. Daar woonde hij eerst bij keizerin-weduwe Karoline Auguste, zijn stiefgrootmoeder, in de residentie van Salzburg en vanaf 1866 in de zomermaanden in paleis Kleßheim. Vanaf 1863 liet aartshertog Ludwig Viktor in Wenen een Paleis ontwerpen door Heinrich von Ferstel in neorenaissancestijl bouwen op de Schwarzenbergplatz, die een grote balzaal, een eetkamer en een wintertuin had. Hier nodigde hij regelmatig de Weense hofvereniging, waaronder het keizerlijke paar, uit voor feestelijke diners, concerten en bals. Hij ging om met vooraanstaande families, bezocht talloze bals en vaak de opera, het theater en concerten. Ludwig Victor stond bekend als een excentrieke levensgenieter, hij begon uitgebreide kunstcollecties aan te leggen, waaronder een van Meissen-porselein, waar hij zijn hele leven aan bleef toevoegen. Hij ontwikkelde ook een passie voor het nieuwe medium fotografieën werd vaak gefotografeerd in uitdagende kostuums of poses. Hij werd al snel een leidende figuur op culturele kwesties.
