Die größte negative Sache, für die man sich an Andrew Jackson erinnert, ist die erzwungene Umsiedlung vieler amerikanischer Ureinwohner, insbesondere im südöstlichen Teil der Vereinigten Staaten. Er löste auch eine wirtschaftliche Depression aus, indem er sich weigerte, die Charta der Second Bank of the United States zu erneuern, und dann eine Politik zur Inflationskontrolle einführte, die eine Panik auslöste, die jedoch hauptsächlich seinem Nachfolger Martin Van Buren angelastet wurde.
Im Jahr 1830 unterzeichnete Jackson den Indian Removal Act, den er durch den Kongress durchgesetzt hatte. Dieses Gesetz ermöglichte es ihm, mit Indianerstämmen, denen der Oberste Gerichtshof entschieden hatte, dass sie das Land ihrer Vorfahren nicht besitzen durften, Abschiebungsverträge auszuhandeln. Jackson glaubte, dass die amerikanischen Ureinwohner weißen Siedlern unterlegen seien und wollte sie westlich des Mississippi zwingen. Er glaubte, dass die Vereinigten Staaten diese Grenze nicht überschreiten würden, damit die Indianer sich selbst regieren könnten.
Das Ergebnis war, dass viele Stämme ausgetrickst oder von ihrem Land vertrieben wurden, wenn sie sich weigerten, freiwillig zu gehen, was zu vielen Todesfällen durch Scharmützel mit Soldaten sowie durch Hunger und Krankheiten führte. Vor allem die Cherokee mussten sich einem Zwangsmarsch unterziehen, der als Trail of Tears bekannt wurde. Sie wurden so schnell von ihrem Land vertrieben, dass sie nicht in der Lage waren, ausreichende Vorräte zu beschaffen, und über 4.000 Cherokees starben an Unterernährung und Aussetzung. Jackson beaufsichtigte die Vertreibung von über 46.000 amerikanischen Ureinwohnern von ihrem Land.
