Pharell Williams hat vier Brüder: Cato, Psolomon, Pharao und David. Pharaoh Williams III und David Williams sind seine Halbbrüder aus der ersten Ehe seines Vaters mit Vanessa T. Williams. Cato, Psolomon und Pharell haben alle denselben Vater und dieselbe Mutter, Pharao Williams und Carolyn Williams.
Cato Williams ist professioneller Skateboarder, während David Williams Verkäufer in Delaware ist. Pharell ist der älteste Sohn; er ist 10 Jahre älter als Cato und 20 Jahre älter als Psolomon. Er wuchs mit seinen Brüdern in Virginia Beach, Virginia auf. Pharell Williams ist mit Helen Lasichanh verheiratet und das Paar hat einen Sohn, Rocket Williams.