Según uno de sus integrantes originales, el cantante de bajo Lee Young, se inició como un cuarteto absolutamente improvisado al calor del momento previo de un concierto, en el que diversos exponentes del Gospel tuvieron parte, entre ellos Bill Gaither, Gary McSpadden, el tenor Steve Green y el propio Young, quienes se unieron para interpretar la canción First day in heaven e integraron posteriormente el cuarteto original en 1980. Una confirmación de esta fecha puede encontrarse en el álbum doble de Bill Gaither Trio Live Across America(1980), según la explicación e introducción que el propio Gaither hace de la canción en este disco. Este arreglo es un tanto distinto del que aparece en el disco debut homónimo de la banda The New Gaither Vocal Band (1981). El nombre fue escogido pues no quería restringirse el número de integrantes del grupo, situación que sí ocurría con el proyecto musical que el miembro fundador (Bill) tenía junto a su mujer Gloria y su hermano Danny, así como con los numerosos Quartet que copaban la escena musical evangélica de la época.
Luego de unos años, The New Gaither Vocal Band sufrió una renovación, cambiando el nombre del cuarteto al que tiene en la actualidad. Bill Gaither comenzó a cantar en el registro de Bajo, Gary McSpadden asumió la voz de barítono y Michael English fue contratado como la voz principal del grupo en 1986. Aunque el disco anterior (The New Point Of View) había experimentado con un estilo más contemporáneo que sus predecesores, el cuarto disco 1 X One de 1986, debutaba con el nuevo nombre y formación de la banda y con un sonido y estilo aún más sofisticados.
