Haar Schoonmoeder Sophie, die al snel besefte dat haar schoondochter gevaarlijk ziek was (ze leidde aan longtuberculose ), raadde het jonge paar een langer verblijf in een mild klimaat aan en koos hiervoor het kroonland Gorizia. Zoals altijd gehoorzaamde Karl Ludwig, en op dat moment gehoorzaamde zijn fragiele vrouw ook. Ze kon het geïsoleerde plattelandsleven echter niet lang uithouden en wilde van locatie veranderen, waaraan haar volgzame echtgenoot toegaf. De nieuwe woonplaats werd echter opnieuw bepaald door Sophie, die koos voor het rustige Graz, een stad waar gepensioneerde ambtenaren en militairen, regeerde. De jonge zuiderling voelde zich niet op haar gemak in Graz, vermeed contact met anderen, was rusteloos en kon de weg niet vinden. Ze voelde zich niet beter totdat ze voor de eerste keer zwanger werd. Slechts zes maanden na de geboorte van Franz Ferdinand werd ze opnieuw zwanger, wat de lijfarts zijn hoofd schudde vanwege het zwakke gestel van de jonge vrouw. De lijfarts maakte Karl Ludwig zorgvuldig duidelijk dat er voor zijn vrouw gezorgd moest worden en beval een verblijf in het zuiden aan, waar Maria Annunciata echter niets mee te maken wilde hebben en de overhand had op haar man.
