Elisabeth was vervreemd van haar kinderen, twee van haar vier kinderen waren al op jonge leeftijd overleden.) Na de dood van haar tweede man leefde ze teruggetrokken en aan een rolstoel gebonden vanwege jicht in de Windisch-Graetz Villa in Hütteldorf, Wenen.
Op 16 maart 1963 overleed aartshertogin Elisabeth Marie
Ze werd begraven op de begraafplaats Hütteldorf in Wenen in hetzelfde graf als haar echtgenoot (groep 2, nummer G72). Twee zonen van Elisabeth uit haar huwelijk met Otto Windisch-Graetz, Rudolf en Ernst, werden voor hen in het graf begraven.
