Po'-Boy-Sandwiches entstanden in New Orleans während eines Streiks der Transportarbeiter in den späten 1920er Jahren. Der Name des Sandwichs bezieht sich auf die Tatsache, dass diese Transitarbeiter nicht viel Geld hatten, weil sie nicht arbeiteten. Während des Streiks boten die Martin-Brüder, die Besitzer von Sandwichläden und ehemalige Straßenbahnbetreiber waren, den Streikenden kostenlose Sandwiches an.
Wenn diese Streikenden das Restaurant der Martin Brothers betraten, bemerkten die Arbeiter, dass ein weiterer "Po' Boy" darauf wartete, gefüttert zu werden. Die zweite Hälfte des Wortes "arm" wird natürlich weggelassen, wenn es mit einem südlichen Akzent gesprochen wird, was es wie "po'" klingen lässt, anstatt wie ein vollständig ausgesprochenes "arm".