Die Wohnsituation eines Sklaven hing von seinem Job und der sozialen Situation seines Besitzers ab. Mittelständische Familien mit wenigen Sklaven lassen die Sklaven oft in ihren Häusern wohnen. Auf Plantagen und anderen großen Grundstücken lebten die Sklaven, die auf dem Feld arbeiteten, in speziellen Sklavenhäusern. Köche und Dienstmädchen lebten oft in denselben Häusern wie ihre Besitzer, normalerweise in einem Hinterzimmer oder auf dem Dachboden.
Eisenbahnunternehmen setzten Sklaven auch zum Bau von Eisenbahnen ein. Wie die Sklaven auf den Plantagen hatten diese Sklaven schreckliche Lebensbedingungen. Ihre Betten waren nichts anderes als harte, schräge Kiefernbretter mit einer einzigen Decke. Sklavenhütten hatten schlecht konstruierte Schornsteine und waren aufgrund der schrecklichen Arbeitszeiten, die von Sklaven verlangt wurden, normalerweise nicht sehr sauber. Oft mussten Sklaven vom Morgengrauen bis in die Nacht arbeiten. Viele Sklaven brachen vor Erschöpfung zusammen. Ihr Essen wurde normalerweise von einem Mitsklaven zubereitet, aber ihre Rationen waren knapp. Manchmal war ihr Essen für einen ganzen Tag nichts anderes als Rüben und Kartoffeln.
Die Besitzer von Sklaven tauschten ihre Sklaven oft gegen Geld und Waren ein. Aus diesem Grund wurden viele Sklaven, darunter auch kleine Kinder, von ihren Familien getrennt. Haussklaven arrangierten oft Ehen für die Kinder mit anderen Haussklaven, um ihren weniger belastenden sozialen Status zu erhalten.
