Als Ludwig in 1864 zijn vader opvolgt op de troon wordt de wederopbouw van het middeleeuwse Hohenschwangau zijn eerste grote bouwproject. Na de ridderburcht die later Neuschwanstein werd genoemd, volgden het lustslot Linderhof in rococostijl, zijn lievelingsverblijf en daarna het slot Herrenchiemsee een paleis in barokstijl, dat hij liet bouwen na een bezoek aan Versailles in 1874, het Beierse Versailles waar hij reeds lang van droomde.
Ludwig werd door twee reizen geïnspireerd om het kasteel te bouwen. In mei 1867 bezocht hij met zijn broer Otto de heropgebouwde Wartburg in Eisenach en in juli van dat jaar bezocht hij in Frankrijk het Kasteel van Pierrefonds dat in die tijd gerestaureerd en heropgebouwd werd door Eugène Viollet-le-Duc. Deze kastelen belichaamden voor de koning zijn dromen van middeleeuwse ridderkastelen en van de plaatsen die beschreven werden in de opera’s van Richard Wagner. Diens Tannhäuser – ook Tannhäuser und der Sängerkrieg auf Wartburg genoemd – en de opera Lohengrin hadden een blijvende indruk gemaakt op de koning. De koning wou zich met dit kasteel een privétoevluchtsoord bouwen waar hij ver weg van München zijn middeleeuwse fantasieën kon beleven in de vertrouwde omgeving van zijn kindertijd.
Door het overlijden van zijn grootvader Lodewijk I van Beieren die in 1848 afgetreden was als koning ten gunste van zijn zoon, omwille van een liefdesaffaire met danseres Lola Montez, kwamen de apanages van zijn grootvader terug aan de kroon, wat hem financieel meer armslag gaf.
Ludwig gaf opdracht aan Christian Jank voor het maken van een ontwerp dat door de architect Eduard Riedel werd omgezet in concrete bouwplannen. Aanvankelijk wilde de koning de ruïnes in het gebouw integreren, maar hiervan werd afgezien omwille van de technische moeilijkheden. De eerste plannen die stilistisch op de Nürnberger Burg waren gebaseerd met een slanke burcht op de plaats van de vroegere Vorderhohenschwangau, werden afgewezen en de ontwerpen werden groter en groter om uiteindelijk in een grote burcht met de Wartburg als model te resulteren. De koning was van zeer nabij bij de bouw betrokken en liet zich alle ontwerpen ter goedkeuring voorleggen, vandaar wordt weleens geopperd dat Neuschwanstein zijn eigen werk is veel meer dan dat van de architecten.