Viele Leute sehen Thomas Jeffersons größtes Versagen darin, seinen Kampf gegen die Sklaverei aufzugeben. Während er die Sklaverei als "abscheulichen Schandfleck" für die Menschheit ansah und mehrere Versuche unternahm, sie abzuschaffen, gab er sie schließlich auf auf und beschloss, nur die Schlachten zu schlagen, die er gewinnen konnte.
Als Hauptautor der Unabhängigkeitserklärung fügte Jefferson tatsächlich eine Klausel hinzu, die die Sklaverei anprangerte, aber sie wurde verworfen, bevor das Dokument genehmigt werden konnte. Obwohl die Tatsache immer noch oft umstritten ist, wurde Jeffersons Präsidentschaft durch die Behauptung, er sei Vater von fünf Kindern der Sklavin Sally Hemings, weiter beschädigt. Schließlich lähmte Jeffersons Einführung des Embargo-Gesetzes, das die Feindseligkeiten zwischen Großbritannien und Frankreich unterbrechen sollte, die Wirtschaft des Südens und entfremdete die Unterstützer, die er zurückgelassen hatte.