In een brief van 13 mei 1868 van Ludwig II aan Richard Wagner schrijft hij over zijn plannen voor de bouw van het kasteel, en gaat er daarbij van uit dat het hele project binnen de drie jaar gerealiseerd zal zijn. Dat bleek een grondige misrekening.
Het werk op de bouwplaats begon in de zomer van 1868. Om te beginnen werd er tot 8 meter gesteente afgevoerd om plaats te maken voor de fundering. De toegangsweg werd in juni 1869 voltooid. De eerste steen werd gelegd op 5 september 1869; volgens de traditie die door Lodewijk I ingezet was, werden het bouwplan, portretten van Ludwig II en munten uit zijn regeringsperiode ingemetseld.
Men begon met het poortgebouw waaraan gewerkt werd van 1869 tot 1873. In juni 1872 werd het hoogste punt daarvan bereikt, en eind 1873 was het klaar voor gebruik. De bovenverdieping van dit gebouw diende Ludwig II jarenlang tot woonruimte. De bouw van het eigenlijke kasteel begon in september 1872. In 1874 nam Georg von Dollmann de leiding van de werken over van Eduard Riedl.
Terwijl de bouwwerken vorderden werden de wensen van de koning steeds groter en de plannen en budgetten moesten meermaals herzien worden. Zo wilde hij bijvoorbeeld dat er een grote troonzaal werd gebouwd waar oorspronkelijk slechts een werkkamer voorzien was. Dat vereiste nogal wat inventiviteit van de bouwers, en resulteerde wegens stabiliteitseisen in de toepassing van nieuwe technologieën, zoals de integratie van een ommantelen staalconstructie in het ontwerp. Ook de gastenkamers uit het originele ontwerp werden afgevoerd om plaats te maken voor een grote Moorse zaal die uiteindelijk wegens geldgebrek niet gebouwd werd.
Het kasteel werd in baksteen gebouwd en later met andere steensoorten bekleed en afgewerkt. De witte kalksteen waarmee de gevelbekleding werd uitgevoerd komt uit de nabij gelegen steengroeve Alter Schrofen. De zandsteen waarin de portalen en de erkers werden uitgevoerd komt uit Schlaitdorf in het Schönbuchgebied bij Stuttgart. Voor de vensters, de gewelfbogen, de zuilen en de kapitelen werd marmer uit de Untersberg bij Salzburg gebruikt. Om de bouwmaterialen aan te voeren werd een met stoom aangedreven kraan gebouwd en een andere stoomkraan zorgde voor verplaatsing van materialen op de bouwwerf zelf.
De bouwplaats was gedurende twintig jaar de grootste werkverschaffer in de streek, omstreeks 1880 werkten dagelijks ongeveer 200 mensen op de werf, leveranciers en indirect betrokken werkkrachten niet meegerekend. Bij dringende opdrachten van de koning kon dit oplopen tot 300 mensen per dag en werd er ’s nachts onder het licht van olielampen doorgewerkt. Statistieken uit 1879-1880 geven een idee van de hoeveelheden bouwmateriaal die gebruikt werden:
- 465 ton marmer uit Salzburg
- 1550 ton kalksteen
- 400.000 tegels
- 2050 kubieke meter hout.
In 1870 werd een soort ziekte- en ongevallenverzekering opgericht waardoor mits een kleine bijdrage van de werknemer aangevuld met een substantiële bijdrage van de koning, het loon van zieke of gekwetste arbeiders verder uitbetaald werd. Ook voor de familie van de arbeiders die omkwamen bij een ongeval was een rente voorzien, wat in die tijd zeker niet gebruikelijk was. In totaal zouden 39 mensen bij de bouw zijn omgekomen, wat voor een dergelijk project in de toenmalige arbeidsomstandigheden zeer weinig is.
Oorspronkelijk was de oplevering van het slot voorzien voor 1872, maar zoals we uit de feiten weten was het kasteel zelfs niet afgewerkt bij de dood van de koning in 1886. Het hoogste punt van het kasteel werd pas bereikt in januari 1880 en de decoraties en technische infrastructuur waren op details na gereed medio 1884. In 1880 werd Dollmann bedankt voor zijn diensten en werd de leiding over de bouwwerken overgedragen aan Julius Hofmann. Lodewijk II heeft zijn kasteel nooit ‘af’ gezien; de laatste onderdelen werden pas (in sterk vereenvoudigde vorm ten opzichte van de originele plannen) voltooid in 1892, zes jaar na zijn dood, onder de leiding van Hofmann. Het gebouw stond toen al even open voor het brede publiek.
