Op 24 april 1854 trouwde de keizer met Elisabeth. Maar het huwelijk verslechterde al snel omdat Elisabeth zich steeds vreemder ging gedragen na de vroege dood van haar dochter, Sophie.
Keizer Franz Joseph had zelf buitenechtelijke relaties die de sfeer in het paleis nog meer bemoeilijkten. Opeens kreeg keizer Franz Joseph het moeilijk.