Na de geboorte van hun derde kind en enige zoon, kroonprins Rudolf, ging het slechter tussen Elisabeth en de keizer. Elisabeth ging zich steeds vreemder gedragen, zo verborg ze haar gezicht voor de buitenwereld, dit deed ze toen ze ouder werd. ze zei: ‘Ik verberg mijn gezicht achter een waaier, zodat de dood ongestoord zijn werk kan doen.’
Franz Joseph en Elisabeth zagen elkaar steeds minder, dit kwam doordat Sissi steeds meer ging reizen, zo ging zo o.a. naar:
– Madeira
– Korfoe
– Engeland
– Nederland
– Hongarije
– Zwitserland
Elisabeth hield van reizen en is dan ook op veel plekken geweest, maar uiteindelijk leek er geen enkele plek te zijn waar de keizerin echt goed tot rust kwam, want overal waar ze kwam bleef ze maar een paar weken. De keizerin heeft ooit gezegd: ‘De reisdoelen zijn alleen maar aantrekkelijk omdat de reis ertussenin ligt. Als ik ergens zou aankomen en ik zou weten dat ik daar niet meer vandaan zou kunnen dan zou het verblijf in een paradijs tot een hel worden.’
Omdat ze zo vaak weg was liet keizer Franz Joseph zelf een slot vlak bij Wenen bouwen met een groot park erbij in de hoop dat ze dan wat vaker in Wenen zou blijven.
Toen Sissi nog jong was vond ze het leuk om paard te rijden tijdens haar reizen. Ze maakte hele lange en gevaarlijke tochten waarbij ze over allerlei obstakels moet springen. Toen ze wat ouder werd besloot de keizerin plotseling op te houden met paardrijden en vanaf dan reist ze graag per boot. Zelfs de hoogste golven deerden haar niet.
De laatste keer dat de keizer zijn vrouw zag was 2 maanden voor haar dood.