Das Weiße Haus wurde zum ersten Mal weiß gemacht, weil 1798 bei der Fertigstellung der Wände eine Tünche auf Kalkbasis verwendet wurde. Die Tünche trug dazu bei, den porösen Stein des Weißen Hauses vor dem Einfrieren zu schützen.
Es ist nicht explizit bekannt, warum das Weiße Haus später weiß gestrichen wurde, aber es kann gut sein, dass es, als die Tünche verblasste, schmutzig aussah.
Das Weiße Haus begann in der amerikanischen Geschichte als Spitzname für die Residenz des Präsidenten. Im Jahr 1812 schrieb der Kongressabgeordnete Bigelow einen Brief an einen Kollegen, in dem er darauf hinwies, dass sie das Herrenhaus des Präsidenten "das Weiße Haus" nennen. 1901 machte Theodore Roosevelt das Weiße Haus zum offiziellen Namen des Hauses des Präsidenten.