Elisabeth werd door haar familie en vrienden ‘Sisi’ genoemd. Sisi had, samen met haar broers en zussen, een gelukkige kindertijd die ze doorbracht in het Hertog Maxpaleis aan de Ludwigstrassen nr. 8 in München. De hertogelijke familie had ook een zomerverblijf: Schloss Possenhofen, in Possenhofen aan de Starnberger See. De ouders van Sisi hadden geen verplichtingen aan het Beierse hof en zo hadden Sisi en haar broers en zussen een tamelijk onbekommerde jeugd. Elisabeth was bijzonder zorgeloos en liberaal opgevoed door haar vader.
