Die Geschichte des Walferdinger Schlosses ist auch eine Geschichte des ständigen Wandels: so wurde nicht nur die Gestaltung, sondern auch der Verwendungszweck und der Stil geändert.
Im Jahr 1817 ordnet Wilhelm I. von Nassau-Dillenburg in Walferdingen den Bau eines königlichen Gestüts des Großherzogs für den König und Großherzog Wilhem I. an. Die belgische Revolution, die 1830 ausbricht, setzt dem königlichen Gestüt ein Ende. Die Gebäude stehen etwa zehn Jahre leer.
Als König Wilhelm II. auf der Durchreise in Luxemburg auf dem Weg nach Diekirch vor dem Walferdinger Schloss eine Rast einlegt, schlägt er vor, die Räumlichkeiten in Stand zu setzen, um dort eine königliche Residenz für den Aufenthalt des Königs und Großherzogs in Luxemburg einzurichten.
Am 5. Februar 1850 ernennt König Wilhelm III. seinen Bruder Heinrich zum Leutnant und Repräsentanten von Luxemburg. Prinz Heinrich lässt sich infolgedessen in Walferdingen nieder, wo er bis zu seinem Tod im Jahr 1879 lebt.
Im Jahre 1853 heiratet er die Prinzessin Amalia von Sachsen-Weimar. Als diese sich wenige Zeit später im Schloss von Walferdingen niederlässt, bereiten die Bürger der Gemeinde den Eheleuten einen herzlichen Empfang. Das Prinzenpaar war sehr beliebt bei der Bevölkerung von Walferdingen, wie durch zahlreiche Dokumente, Zeugnisse und Anekdoten belegt werden kann.
Der 2. Mai 1872 stürzt die Gemeinde Walferdingen und den Rest der Nation in tiefe Trauer: die Prinzessin Amélie verstirbt.
Sechs Jahre später heiratet Prinz Heinrich in zweiter Ehe die Prinzessin Marie von Preußen. Mit ihr setzt er seine 20 Jahre zuvor begründete Tradition fort und verteilt den Kindern von Walferdingen an Weihnachten Geschenke. Allerdings sind in der Schule einige Kinder an Masern erkrankt und der Prinz steckt sich mit dieser ansteckenden Krankheit an. Drei Wochen später unterliegt der Prinz dieser Kinderkrankheit, von der niemand ein so fatales Ende erwartet hätte.
Am 22. Januar 1879 verlässt Prinz Heinrich das Schloss von Walferdingen ein letztes Mal. Die berühmte Persönlichkeit lebte hier fast dreißig Jahre lang.
Nach dem Tod von Prinz Heinrich interessiert sich kaum noch jemand für das Schloss. Nur zwischen 1891 und 1905 wird es wieder genutzt, und zwar als Zweitresidenz von Großherzog Adolf.
Während des ersten Weltkrieges finden Kinder und Familien, die aus den gefährdeten Vierteln der Stadt Luxemburg evakuiert werden, in Walferdingen Zuflucht. Im Jahr 1930 wird im Schloss eine Ausbildungsstätte für Lehrerinnen eingerichtet, die bis 1944 dort ihren Platz hat.
Am Ende des zweiten Weltkrieges besetzen amerikanische Truppen zeitweise das Schloss. Von Mai 1945 bis Juli 1967 nutzt die luxemburgische Armee die Räumlichkeiten als Kaserne.
Seither wird das Schloss größtenteils von der pädagogischen Hochschule (Institut Supérieure d’Études et de Recherches Pédagogiques) genutzt.