Zolang ze een goede gezondheid behielden, reisden Stefanie en Elemér en ontmoetten ze verschillende heersers in ballingschap: de afgezette tsaar Ferdinand I van Bulgarije en keizerin Zita. Ze ontmoetten de laatste in Spanje en vervolgens in België, waar Ferdinand sinds 1930 verbannen was. Geleidelijk trokken ze zich terug op hun landgoed waar ze een meer teruggetrokken bestaan leidden, onderbroken door religieuze oefeningen. Onder hun naaste kennissen bevond zich vanaf 1944 hun aalmoezenier, Geza Karsai, Germanist, universiteitsprofessor en monnik van de aartsabdij van Pannonhalma.
In juli 1944 maakt Stefanie haar testament op. Ze onterfde haar dochter, die was gescheiden van prins Otto van Windisch-Graetz om bij Leopold Petznek, een sociaaldemocratische afgevaardigde uit Neder-Oostenrijk, te gaan wonen, en schonk al haar onroerend goed aan de orde van de benedictijnen. In ruil daarvoor waren de benedictijnen verantwoordelijk voor het voldoen aan alle schulden van de Lónyays en het beheer van hun landgoederen. Het jaar 1944 bracht Stefanie en haar man nieuwe zorgen omdat het Duitse leger hun residentie wilde omvormen tot een militair hospitaal voor oorlogsgewonden, een project dat op het laatste moment werd afgewezen. Aan de andere kant, in de herfst, Edmund Veesenmayer, SS- Brigadeführer en commandant van de stad Boedapest nam zijn intrek in Rusovce vergezeld van een grote staf. Veesenmayer begon alle archieven in het huis te doorzoeken en nam documenten van historische aard in beslag, zoals brieven van kroonprins Rudolf. Stefanie en Elemér moesten hun toevlucht zoeken in enkele kamers omdat de bewoners zich het kasteel grotendeels hadden toegeëigend. Eind maart 1945 trokken de Duitsers, die beseften dat hun positie werd bedreigd door het oprukkende Rode Leger, verder naar het westen.