Fondée en 1608 par Samuel de Champlain, la ville de Québec est proclamée joyau du patrimoine mondial par l’UNESCO en 1985, en reconnaissance de sa valeur universelle exceptionnelle. Berceau de la civilisation française en Amérique, Québec témoigne par son architecture et ses paysages urbains du rôle qu’a joué la ville à titre de capitale sous les régimes français et britannique. Place forte durant près de trois siècles, elle a conservé les principales composantes de son ancien système de défense, ce qui en fait la seule ville d’Amérique du Nord entourée d’une enceinte de fortifications authentique.
La Citadelle parachève le système de défense de la ville et comprend divers bâtiments construits à différentes époques. La forteresse actuelle est érigée sous la supervision du lieutenant-colonel Elias Walker Durnford de 1820 à 1832. Elle renferme certaines constructions datant du régime français dont un rempart, la Redoute du Cap-aux-Diamants (1693) et une poudrière (1750). D’autres constructions viennent s’ajouter au fil du temps.
La résidence du gouverneur général est aménagée dans un bâtiment de style néoclassique construit en 1831. Il est occupé à l’origine par des officiers de la garnison britannique jusqu’à leur départ en 1871. C’est le comte de Dufferin qui est le premier gouverneur général à habiter la résidence de la Citadelle en 1872. Il renoue ainsi avec une tradition de résidence pour le gouverneur général à Québec qui datait du début de la Nouvelle-France.
Très vite, les responsabilités du gouverneur général nécessitent l’aménagement de nouvelles pièces. Au fil du temps, on fait construire des annexes, dont une salle de bal et une verrière surplombant le majestueux fleuve Saint-Laurent. Le matin du 2 février 1976, un incendie détruit les constructions en annexe de la partie d’origine. Les quartiers privés du gouverneur général sont épargnés par le feu, mais ils sont lourdement endommagés par l’eau et la fumée. Afin de pouvoir perpétuer la tradition de résidence à Québec, Travaux publics et Services gouvernementaux Canada réalise des travaux de réfection sur la partie ouest de la résidence.
Entre temps, l’aile détruite par le feu est démolie et des plans de reconstruction sont développés. Les nouvelles salles de cérémonies sont inaugurées en 1984. Le résultat est un heureux mélange d’architectures de styles militaire et moderne. Quant au design intérieur, c’est Madeleine Arbour, artiste québécoise de renom, qui élabore le concept. Inspiré par les couleurs froides de l’hiver québécois, le design utilise des matériaux canadiens, tels que le granit, le noyer et l’aluminium et intègre des pièces de mobilier de l'époque de la Nouvelle-France.
Des visites guidées des salles de cérémonie de la résidence sont offertes toute l’année.