Nog geen jaar na het huwelijk bracht de jonge keizerin haar eerste kind, een meisje, ter wereld. Bij haar doop ontving het kleine meisje de naam: Sophie Frederika Dorothea Maria Josepha. De kleine Sophie werd vernoemd naar de moeder van keizer Franz Joseph. Een jaar later bracht Sisi haar tweede kind, ook een meisje, ter wereld. Bij haar doop ontving het kleine meisje de naam: Gisela Louise Marie. Ondanks dat het meisjes waren, die die niet voorbereid hoefde te worden op de taak van regent, mocht Sisi haar kinderen niet zelf onder haar hoede houden. De jonge keizerin had ze op de wereld gezet maar voor de opvoeding was Sisi nog te jong, vond de aartshertogin en dus haalde ze de meisjes bij hun moeder weg. Later zei Elisabeth:
“Ze hebben mijn kinderen direct bij mij weggehaald. Het was mij alleen toegestaan de kinderen te zien als aartshertogin Sophie daar toestemming voor gaf. Zij was er altijd bij als ik de kinderen bezocht. Uiteindelijk heb ik het opgegeven en ik bezocht ze nog maar zelden.”
Sisi’s smeekbeden aan de keizer om bij Sop te bemiddelen stuitten op dovemans oren. Pas als het keizerlijk paar een gemeenschappelijke reis hebben, ver weg van de invloed van Sophie, bereikte Sisi eindelijk dat de keizer zich voor zijn vrouw inzette en zij weer meer tijd met de kinderen kon doorbrengen. Uiteindelijk wilde Sisi haar kinderen meenemen op de reizen.
Tijdens de reis door Hongarije kwam het tot een persoonlijke tragedie voor het keizerlijk paar, de kleine Sophie en Gisela werden allebei ziek, ze kregen beide diarree en koorts. De 10 maanden oude Gisela herstelde snel maar de 2-jarige Sophie overleed in de armen van haar moeder na een doodstrijd die elf uur duurde. En of dat nog niet genoeg was werd Elisabeth verweten indirect schuldig te zijn aan de dood vaan haar kleine meisje. Sisi had al zoveel meegemaakt maar nu stortte ze in. Het was allemaal teveel voor de pas 19-jarige keizerin. Voor het eerst vertoonde Sisi de psychische en fysische symptomen die in de loop van haar leven steeds weer zouden opduiken in crisissituaties. Weken- en maandenlang sloot zij zich op en huilde de hele dag, of ze bracht de hele dag door met paardrijden totdat ze helemaal uitgeput was , zodat zij aan niets meer kon denken. Bovendien at ze bijna niets meer. Haar geestelijke en lichamelijke toestand werd bedenkelijk. Dit resulteerde uiteindelijk dat zij zelfs de strijd om haar tweede kind, Gisela, opgaf. Ook verwijderde ze zich gevoelsmatig van Gisela en nam nauwelijks nog deel aan haar verdere ontwikkelijking.
