James Madison hatte drei Brüder und drei Schwestern, die das Erwachsenenalter erreichten: Francis, Ambrose, Nelly, William, Sarah und Frances. Seine Eltern hatten insgesamt 12 Kinder. Fünf von Madisons Geschwistern starben entweder als Säuglinge oder Kinder.
Madisons Bruder Francis war Pflanzer in Orange County, Virginia. Sein Bruder Ambrose war Hauptmann der Miliz von Virginia. Er war auch Pflanzer und beaufsichtigte die Interessen der Familie in Orange County. William Madison diente während des Unabhängigkeitskrieges. Er war auch Rechtsanwalt und diente in der gesetzgebenden Körperschaft von Virginia. Alle drei Schwestern von Madison, Nelly, Sarah und Frances, waren als Erwachsene verheiratet.
