Op 16 oktober 1862 hertrouwde Karl Ludwig voor de tweede keer met prinses Maria Annunziata von Napels en Sicilië.
Ze kregen samen vier kinderen:
– Frans Ferdinand
– Otto Frans
– Ferdinand Karel
– Margaretha Sophie
Zijn vrouw Maria leed aan epilepsie.
Ze stierf op 4 mei 1871 aan een longontsteking, ze was pas 28 jaar.
