Obwohl George Washington 1791 den Standort des Weißen Hauses auswählte, lebte er dort nie. Seit 2014 ist er der einzige Präsident, der nicht im Weißen Haus residierte.
John Adams und seine Familie waren die erste Präsidentenfamilie, die im Weißen Haus lebte. 1814 steckten die Briten das Haus in Brand; es wurde umgebaut. 1817 zog James Monroe ein. Harry S. Truman begann mit der Restaurierung des Weißen Hauses und zog 1952 zurück ins Weiße Haus.
Unter einigen Präsidenten wurden im Weißen Haus Bauarbeiten durchgeführt, bei denen die First Family nicht ausziehen musste. Theodore Roosevelt ließ die Büros des Präsidenten in den Westflügel verlegen und William Howard Taft ließ das Oval Office bauen.
