Clemens studeerde aan het jezuïetencollege Stella Matutina in Vorarlberg.
Op 20 februari 1930 trouwde Clemens met Elisabeth Rességuier de Miremont. Het huwelijk werd als ongepast beschouwd.
Clemens en Elisabeth kregen samen negen kinderen:
- Valerie
- Clemens
- Georg
- Peter
- Christoph
- Elisabeth
- Franz Josef
- Nikolaus
- Johannes