Les débuts de la Congrégation furent difficiles pour sainte Émilie et ses collègues confrontées à l’inconfort des locaux et à la maladie. Très vite, dès 1817, elles quittèrent la maison Alric pour enseigner pendant trois ans à la Maison Saint Cyr puis la Congrégation achètera l’ancien Couvent des Cordeliers. On peut dire que la fondation proprement dite s’achèvera en 1822 avec le nom définitif de Sœurs de la Sainte-Famille et une première Communauté en dehors de Villefranche, à Aubin.