Ricky Skaggs' erste Frau war Ralph Stanleys Cousine Brenda Stanley. Sie lernten sich kennen, als Skaggs, erst 17 Jahre alt, Mitglied von Stanleys Band, den Clinch Mountain Boys, war, und sie heirateten im Anfang der 70er Jahre.
Das Paar hatte zwei gemeinsame Kinder, Mandy und Andrew. Skaggs war mit Brenda verheiratet, während er eine kurze Pause vom Musikmachen einlegte. Frustriert von den langen Arbeitszeiten und der geringen Bezahlung mit Ralph Stanley ließ Skaggs die Familie in Virginia nieder und nahm einen Job in einem Heizraum für die Virginia Power Company in Washington, DC an. 1981 heiratete Skaggs Sharon White, die Leadsängerin des Landes Band Die Weißen. Sie haben eine Tochter, Molly, und einen Sohn, Lucas
