Die erste Frau von James Arness war Virginia Chapman. James Arness heiratete 1948 Virginia Chapman und das Paar ließ sich 1963 scheiden. Chapman starb 1977 in Malibu, Kalifornien, an einer Überdosis Drogen. Das Paar hatte drei gemeinsame Kinder: Jenny Lee, Rolf und Craig.
Die einzige Tochter des Paares, Jenny Lee Arness, beging im Alter von 25 Jahren Selbstmord. Der Sohn des Paares, Rolf Arness, wurde 1970 Weltmeister im Surfen.
Chapman war eine berühmte Schauspielerin, die für ihre Rollen in "Perry Mason", "Highway Patrol" und "Gunsmoke" bekannt war. James Arness spielte 20 Jahre lang Matt Dillon in der Fernsehshow "Gunsmoke".