Die Außenwände des Weißen Hauses bestehen aus weiß gestrichenem Aquia-Creek-Sandstein, der von Sklaven abgebaut wurde. Dies ist derselbe Stein, der auch für den Bau des Kapitols verwendet wurde.
James Hoban entwarf das Weiße Haus, nachdem er einen Wettbewerb gewonnen hatte, den Thomas Jefferson, der damalige Außenminister, und Präsident George Washington 1792 organisierten. Hoban wurde in Irland geboren und wurde dort als Architekt ausgebildet. Der Legende nach nahm Jefferson, selbst Architekt, unter einem Pseudonym am Wettbewerb teil und verlor. Das Weiße Haus wurde seit seiner Erbauung mehrmals renoviert; Die Außenwände sind jedoch dieselben, die ursprünglich gebaut wurden.
