La Iglesia de Ntra. Sra. del Sagrario se remonta al año 1.650, cuando un grupo de campesinos de Herencia y Villarrubia de los Ojos pensaron en construir un lugar para dar gracias a Dios. El problema surgió a la hora de decidir a quien dedicar la ermita. El grupo de Herencia pretendía a Ntra. Sra de Las Mercedes y el de Villarrubia a Ntra. Sra de la Sierra. La solución vino al dedicársela a la patrona de Toledo Ntra. Sra del Sagrario, a cuyo arzobispado pertenecía por aquel entonces.


Así la primera iglesia de Las Labores fue una ermita y se levantó en lo que se conoce como “el pajar de Benito”, casa de propiedad particular.