In de middeleeuwen bevonden zich op de rots, waarop het slot gebouwd werd, twee kleine burchten, de Vorderhohenschwangau en aan de andere kant van een diepe gracht, een donjon die men de Hinterhohenschwangau noemde. Deze dubbelburcht was de vestingplaats van de heren van Schwangau die als leenmannen van de Hohenstaufen en Welfen het gebied bestuurden. Het geslacht van de heren van Schwangau stierf uit in de zestiende eeuw. Vanaf de 15e eeuw ressorteerde het gebied onder het huis Wittelsbach. In 19e eeuw bleven er van de burchten alleen nog ruïnes over, de toren van Hinterhohenschwangau was omgevormd tot een uitzichtplatform dat men de Sylphenturm noemde. De ruïnes werden afgebroken voor de aanleg van Neuschwanstein.
Lodewijk II bracht een deel van zijn jeugd door op Hohenschwangau, de middeleeuwse burcht Schwanstein die zijn vader Maximiliaan II van Beieren omstreeks 1837 had laten ombouwen naar een kasteel om in te wonen. Het was na de verbouwing dat de naam gewijzigd werd. De ruïnes van Hohenschwangau waren voor de kroonprins een doel van zijn tochten in de omgeving, hij maakte er in 1859 een tekening van in zijn dagboek