De openlijke voorliefde van Sisi voor Hongarije vergrootte de kloof tussen haar en het Weense hof steeds verder. De invloed van aartshertogin Sophie nam steeds meer af. Vooral na de executie van haar zoon, keizer Maximiliaan van Mexico had haar ijzeren wil gebroken en zij bracht de laatste vijf jaar van haar leven teruggetrokken door. Elisabeth had nu de machtigste vrouw van in het rijk kunnen worden. Zij had in deze periode ook grote invloed op haar man, maar dat interesseerde haar niet meer. De moeilijke tijden en de teleurstellingen in haar eerste huwelijksjaren hadden haar hard gemaakt, zij werd steeds meer mensenschuw, innerlijk steeds eenzamer, steeds koeler, steeds ontoegankelijker. Ze reisde vaak naar Hongarije, waar ze zich ongedwongen voelde, maar zij zocht ook weer toenadering van haar familie in Beieren.
Toen begon de periode dat Sisi zich bijna alleen maar aan de ruitersport wijdde. Met deze sport bracht ze veel maanden door in Engeland, Frankrijk en Ierland. Ongeveer een decennium zou deze gevaarlijke, door haar met bezetenheid uitgeoefende sport, haar leven bijna helemaal beheersen. Sisi had talrijke edele rijpaarden en trainde verbeten, vaak totdat ze er bijna bij neer viel. Sisi was in haar tijd de beste amazone. Sisi nam niet alleen deel aan talloze drijfjachten en dressuurwedstrijden, maar zij kon koetsieren en beoefende zelfs in het circus het hogeschool rijden. Hiervoor liet zij in Gödölö een manege bouwen.
