Die Eltern von James Madison waren Nelly Conway Madison und Col. James Madison Sr. James Madison wurde 1751 geboren. James Madson Sr. heiratete 1749 Nelly Conway und das Paar hatte 12 Kinder. James, das erstgeborene Kind, war der vierte Präsident der Vereinigten Staaten.
Die Familie Madison gehörte zu den ältesten und angesehensten Familien in Virginia. Madisons Vater war ein bekannter Tabakbauer in Virginia, der auf einem Anwesen in Orange Country, Virginia, aufwuchs, das er später erbte. Madisons Mutter war die Tochter eines bekannten Tabakhändlers. Sie wurde 1731 in Virginia geboren.