Andrew Jackson hatte verschiedene Auseinandersetzungen mit John Calhoun, die aus sozialen und politischen Gründen entstanden. Jackson war nicht einverstanden mit der Art und Weise, in der die Frau von John Eaton, Jacksons Kriegsminister, von den Frauen und Töchtern der Kabinettsbeamten, einschließlich Calhouns Frau, behandelt wurde; sie sahen auf Eatons Frau herab und es erinnerte Jackson an die Behandlung, die seine eigene Frau Rachel von derselben Gruppe erhalten hatte. Politisch waren sich die beiden Männer in der Frage der Rechte der Staaten nicht einig, wobei Calhoun und seine Partei für die Rechte seiner Staaten versuchten, Jackson dazu zu bringen, ihre Ansichten zu unterstützen.
Die persönliche Feindseligkeit zwischen Jackson und Calhoun drehte sich um die Misshandlung der Frau seines Kriegsministers. Sie haben auch über sie geklatscht. Dies entzündete Jackson, da seine Frau von demselben sozialen Kreis ebenfalls als eine Person der geringeren Klasse behandelt wurde.
Bei einer Geburtstagsfeier für Thomas Jefferson im Jahr 1832 stießen Calhoun und andere in seinem Lager Toasts aus, um eine Verbindung zwischen der Aufhebung der Annullierung und der Sichtweise der staatlichen Rechte auf die Regierung herzustellen. Jackson schloss sich nicht an, sondern stieß stattdessen auf die Bundesgewerkschaft an und stellte fest, dass sie erhalten bleiben müsse, und demütigte im Wesentlichen Calhoun, seinen Vizepräsidenten, öffentlich. Calhoun trat schließlich von seinem Amt als Vizepräsident zurück.
