Andrew Jacksons liebstes Hobby waren Pferderennen und Pferdezucht. Er besaß im Laufe seines Lebens viele Rennpferde und fuhr sie oft in seinen Tagen, bevor und nachdem er Präsident wurde. Er züchtete auch Wildhähne und nahm mit seinen Vögeln an den Hahnenkämpfen rund um Nashville teil.
Andrew Jackson liebte auch einen guten Scherz. Während seines Jurastudiums in Salisbury, North Carolina, wurde Jackson ausgewählt, den jährlichen Weihnachtsball zu leiten, eine jährliche Veranstaltung von großer Bedeutung in der kleinen Stadt in North Carolina. Als Scherz lud er zwei Prostituierte zum Ball ein, obwohl nur wenige Anwesende die Geste so lustig fanden wie Jackson.
Er war ein begeisterter Leser von Zeitungen und Romanen. Sein Lieblingsbuch war "Vicar of Wakefield" von Oliver Goldsmith. Andrew Jackson unterhielt eine große Sammlung von Pfeifen aus der ganzen Welt, rauchte jedoch selten etwas anderes als seine Maiskolbenpfeife. Er behauptete, er mochte den Geschmack der rohen Grenzpfeife besser als all die ausgefallenen Pfeifen, die er erworben hatte, als er zu internationaler Bekanntheit aufstieg.
Jacksons Beruf war Politik, aber er kann auch zu seinen großen Hobbys gezählt werden. Nach seinem Ausscheiden aus der Präsidentschaft im Jahr 1836 blieb er von seiner Heimat in Nashville aus politisch sehr aktiv. Er spielte eine wichtige Rolle bei der Wahl von Martin Van Buren und James K. Polk ins Weiße Haus vor seinem Tod im Jahr 1845.
