Op 28 mei 1859 trouwde Ludwig, tegen zijn moeders wil, met een burgermeisje, de Joodse actrice Henriëtte Mendel. Negen dagen voor de bruiloft, op 19 mei 1859, werd Henriëtte door koning Maximilian in de adelstand verheven. Ze kreeg de titel “Barones von Wallersee”. Ze kreeg die titel omdat in die tijd, met een zus die keizerin van Oostenrijk was, hij niet met een burgermeisje kon trouwen. Ludwig mocht in eerste instantie niet trouwen met Henriëtte, maar omdat hij toch niet van gedachten veranderde, kreeg hij toestemming om morganatisch te trouwen, maar daarvoor moest hij wel zijn recht op de opvolging als eerste in lijn van de hertogelijke tak van de Wittelsbachers opgeven ten gunste van zijn jongere broer, Karel Theodoor.
Ludwig en Henriëtte hadden twee onwettige kinderen. Op 24 februari 1858 kreeg het paar hun eerste kind, een dochter, Marie Louise Elisabeth Mendel. Op 9 mei 1859 kwam Karl Emanuel Mendel ter wereld. Hij stierf, nog geen drie maanden oud, op 1 augustus 1859. Omdat Luwdig en Henriëtte nog niet getrouwd waren toen hun twee kinderen werden geboren, kregen deze bij de geboorte de achternaam van de moeder. Op de dag dat Henriëtte de titel barones von Wallersee kreeg, werden de kinderen ook in de adelstand verheven, Karl Emanuel werd baron von Wallersee en Marie Louise werd barones von Wallersee. De achternaam van de vader, von Wittelsbach, kregen de kinderen niet.
Op 12 november 1891 overleed Henriëtte aan maagkanker.
