Joseph Gerard nació el 12 de marzo de 1831 cerca de Nancy, Francia, y pasó su infancia en la granja familiar. Con la ayuda de un párroco, Joseph pudo ingresar al seminario para estudiar para el sacerdocio. Mientras todavía era seminarista, Joseph se enteró de una sociedad misionera recientemente establecida: los Misioneros Oblatos de María Inmaculada (OMI). Impresionado por las inspiradoras historias de aventuras misioneras, Joseph decidió unirse a su congregación.
Cuando tenía 22 años, el fundador de los Oblatos, San Eugenio de Mazenod, ordenó a Joseph un diácono y le dio su primera misión como misionero: la misión de Natal en Sudáfrica.
En mayo de 1853, el diácono Joseph se dirigió a África, para nunca volver a ver Francia.
El 19 de febrero de 1854, Joseph fue ordenado sacerdote en Sudáfrica. Su ministerio especial era trabajar con el pueblo zulú, pero también trabajó con la población blanca local.
Pasó años muy duros trabajando en la zona, viajando por el campo agreste, aprendiendo nuevos idiomas, lidiando con el calor y el frío intensos y, a menudo, durmiendo al aire libre. Se desanimó mucho, porque a pesar de su amor, cuidado y trabajo duro, su trabajo no parecía dar mucho fruto. Solo más tarde aprendería que las semillas que había plantado en los corazones de los zulúes florecerían y florecerían.
En 1862, fue a Lesotho para trabajar con el pueblo basotho, con la esperanza de tener más éxito que el que tuvo con el pueblo zulú. Trabajó como misionero en Lesotho durante los siguientes 52 años.
Le tomó dos años de arduo trabajo antes de hacer su primer converso entre los basotho. Sin embargo, dentro de 5 años, comenzó una nueva congregación de hermanas, y él estableció una estación misionera exitosa en Roma. Hoy, esta área tiene muchos noviciados y seminarios, escuelas secundarias, una universidad oblata, casas religiosas y un hospital. La gente atribuye todo esto a las semillas plantadas por el p. José.
Pero de todo el trabajo que el p. Joseph realizó, su mayor amor era hacia los enfermos. De hecho, muchos informes dicen que sus cuidados de enfermería, tanto bio-físicos como psicosociales, fueron heroicos. Largas distancias, traicioneros senderos de montaña y un clima terrible no podían evitar que hiciera visitas a enfermos, a pie o a caballo.
El p. Joseph pasó sus últimos años en la misión en Roma en Sudáfrica. Continuó cuidando a los enfermos sin importar dónde estuvieran, incluso cuando su artritis lo dobló casi a la mitad, su vista casi había desaparecido, y tuvo que ser levantado sobre su fiel caballo Artaban.
Hasta un mes antes de su muerte, a la edad de 83 años, el Se podía ver al p. Joseph haciendo rondas de enfermería para atender a los necesitados.
El p. Joseph murió el 29 de mayo de 1914, y el Papa San Juan Pablo II lo beatificó el 15 de septiembre de 1988.
La fiesta del beato José Gerard es el 29 de mayo.