Zu den Geschwistern von Präsident James Madison gehören General William Taylor Madison; Kapitän William Ambrose Madison, Sr.; Eleanor „Nellie“ Conway Hite (Madison); Frances "Fanny" Rose (Madison); Mollie Davis; Francis Taylor-Madison; Robert Cole Madison; Sarah Catlett-Madison; Elizabeth Madison; Catlett Madison; Ruben Madison; und John Madison. Zwei seiner Geschwister starben im Säuglingsalter.
Präsident Madison wurde als James Madison, Jr., als erstgeborenes Kind von James Madison, Sr., und Nelly Conway Madison geboren. James verbrachte seine frühe Kindheit in Montpelier, seinem Familienanwesen in Virginia. Im Alter von 12 Jahren ging er auf die Schule von Donald Robertson, wo er Latein und Griechisch lernte und Arithmetik und Geographie studierte. Er erwarb seinen Bachelor-Abschluss am College of New Jersey.
