Op 16 oktober 1862 hertrouwde aartshertog Karl Ludwig met prinses Maria Annunciata van Bourbon-Sicilië in Rome, op 16 oktober vond in Rome het burgerlijke huwelijk plaats, terwijl de kerkelijke inzegening op 21 oktober in Venetië was.
Karl Ludwig en Maria Annunciata kregen samen vier kinderen:
- Frans Ferdinand
- Otto Frans
- Ferdinand Karel
- Margaretha Sophie
