Karl Ludwig zou voorbestemd zijn geweest om met zijn nichtje Sisi te trouwen, maar die zijn oudste broer, Franz Joseph werd verliefd op haar en trouwde met haar.
Op 4 november 1856 trouwde Karl Ludwig met prinses Margaretha van Saksen, maar Margaretha overleed na nog geen twee jaar huwelijk.
#/media/Datei:MargareteSaxe_(cropped).jpg){kind=link}