Downton Abbey wird an verschiedenen Sets und Orten im Vereinigten Königreich gedreht. Das Highclere Castle im Norden von Hampshire wird für Außenaufnahmen der Abtei selbst sowie für viele Innenaufnahmen verwendet.
Für die Dreharbeiten der Serie wurden viele echte historische Orte und Schlösser verwendet. Das zweite Haus der Familie Crawley ist in Wirklichkeit Grey's Court in Oxfordshire. Das Mitgifthaus ist wirklich Byfleet Manor in Surrey. Downton Station ist der Bahnhof Horsted Keynes in Sussex. Duneagle Castle ist wirklich das Inveraray Castle in Argyll, Schottland. Brancaster Castle wird im Alnwick Castle in Northumberland gedreht und das Anwesen Haxy Park ist ein Teil von Waddesdon Manor in Buckinghamshire
