Durante el siglo XVI surge en torno a dicha ermita el primer asentamiento fijo del pueblo. El aumento de las peregrinaciones para rogar al Cristo determinaron a la Corona y al Consejo de Órdenes Militares a construir una nueva ermita y unas dependencias que dieran albergue a los peregrinos; no obstante, hay razones para creer que esa era la razón aparente, y que la intención verdadera pudo ser la de realizar una construcción emblemática tanto del lugar como de la propia Corona. Eso explicaría la utilización de un código culto entremezclado con lo popular a la hora de erigir el conjunto monumental.

Finalizada la obra durante el reinado de Felipe V, y resultando un aumento rápido de la población, se hizo necesaria una reordenación urbanística, que llevó a cabo, ya en tiempos de Carlos III, Pablo de Olavide. A él se debe el plano totalmente regular que hoy estructura el pueblo.

Más tarde, en diciembre del año 1.800, Carlos IV dictó una Carta Real de Privilegio con la que dictaminaba la independencia de San Carlos del Valle y lo convertía en municipio independiente.