Hij werd verliefd op een joods burgermeisje, Henriette Mendel.
Ludovika en Maximilian zagen het niet zitten dat hun zoon met een burgermeisje ging trouwen.
Op 28 mei 1859 trouwde Ludwig met Henriëtte.
Samen kregen ze twee kinderen:
– Marie Louise
– Karl Emanuel
Een paar dagen voor het huwelijk werd Henriette benoemd tot barones von Wallersee. Haar dochter, Marie, werd ook verheven in de adelstand, ook zij werd barones von Wallersee.
Op 9 mei 1859 werd er een zoon geboren, Karl Emanuel Mendel, baron von Wallersee.
Maar Karl overleed nog geen drie maanden na zijn geboorte op 1 augustus 1859.