Karl Ludwig was een bijzonder religieus man, in een mate die aan godsdienstwaanzin grensde. Om die reden werd hij, na het overlijden van kroonprins Rudolf, dan – als eerste in lijn – ook overgeslagen voor de troonopvolging. In plaats daarvan koos keizer Frans Jozef voor Karl Ludwigs oudste zoon.
Op 19 mei 1896 overleed Karl Ludwig aan de gevolgen van het drinken van water uit de heilige, maar bijzonder vervuilde, Jordaan. Hij nam een paar slokken toen hij op bezoek was bij zijn zoon Frans Ferdinand, die daar aan het kuren was, in verband met zijn tuberculose. Karl Ludwig zelf liep buiktyfus op, en overleed kort nadat hij was teruggekeerd in Wenen.