Nadat prinses Louise van 1883 tot aan zijn dood in 1888 een liefdesrelatie had gehad met baron Daniel d’Ablaing van Giessenburg – de adjudant van haar man – onderhield ze nog een relatie met zijn opvolger, baron Nikolaus Döry de Jobahaza, totdat ze in 1895 stierf. Ze ontmoette de Kroatische Uhlan-luitenant graaf ( sic ) Geza von Mattachich-Keglevich en ze werden allebei verliefd op elkaar.
Aartshertog Ludwig Viktor zou aan zijn broer hebben gerapporteerd over de affaire van prinses Louise met Mattachich; Dit is echter op zijn minst onzeker, gezien de uitgebreide inlichtingenrapporten die de keizer dagelijks ontving. Keizer Franz Joseph verbood haar vervolgens van het hof. Omdat prins Philipp niet voor haar opkwam, verliet prinses Louise hem in het voorjaar van 1897 en leefde haar relatie met Mattachich openlijk in heel Europa. De prinses heeft enorme schulden opgelopen – volgens schattingen 12 miljoen frank. Ze ging ervan uit dat ze op een dag het enorme fortuin van haar vader, de Congo Vrijstaat, zou erven. Omdat koning Leopold II een van de rijkste vorsten ter wereld was, werden leningen ‘royaal’ verstrekt.
In februari 1898 werd prins Philipp op bevel van de keizer gedwongen tot een duel met Mattachich. De prins werd bewusteloos geslagen (de pees van zijn rechterhand was doorgesneden). De Weense kranten berichtten over het duel en het herstel van de prins.