Booker T. Washington war dreimal verheiratet und hatte drei Kinder, eines mit seiner ersten Frau und zwei mit seiner zweiten Frau. Er heiratete 1882 seine erste Frau, Fanny Norton Smith. Sie war einer seiner Jungfernschüler, und ihre Tochter Portia wurde 1883 geboren.
Fanny Norton Smith starb ein Jahr nach Portias Geburt und Booker T. Washington heiratete 1885 seine zweite Frau, Olivia Davidson. Zusammen hatten sie die Söhne Booker T. Washington Jr. und Ernest Davidson Washington. Olivia starb 1889, nur vier Jahre nach ihrer Heirat. Washington heiratete 1892 seine dritte Frau, Margaret James Murray, aber sie hatten keine gemeinsamen Kinder. Booker T. Washington starb am 14. November 1915 und seine Frau Margaret starb 1925.