James Spader und seine erste Frau Victoria Kheel ließen sich 2004 scheiden. Spader und Kheel lernten sich Anfang der 1980er Jahre kennen und heirateten 1987. Während der Interviews nach der Scheidung weigerte sich Spader, das Thema und den Grund für die Eheschließung zu diskutieren Scheidung ist unbekannt.
Spader und Kheel hatten während ihrer Ehe zwei Söhne zusammen. Diese beiden waren zusätzlich zu dem Kind, das Kheel aus einer früheren Beziehung hatte und das Spader aufzog, nachdem er und Kheel zusammen waren.
Seit 2014 war Spader seit seiner Scheidung von Kheel fast das gesamte Jahrzehnt mit der Schauspielerin Leslie Stefanson zusammen. Spader und Stefanson haben einen gemeinsamen Sohn.
