A principios del siglo XVIII, en el primitivo templo de San Pedro, ubicado en la jerezana calle de Bizcocheros esquina con el callejón de Ánimas, tenía sede y capilla una Hermandad de Ánimas, que provenía del convento de mínimos de la Victoria. En esta pequeña iglesia se veneraba una devota efigie del Santo Ecce-Homo, propiedad de dicha Hermandad.
En 1758 se construye, en la acera de enfrente, el nuevo templo de San Pedro y la Hermandad se traslada al mismo. Con el paso del tiempo la Hermandad de Ánimas cae en postración y el Santo Ecce-Homo es colocado en una hornacina bajo un cuadro de la Virgen de Guadalupe, posteriormente, en ese mismo lugar, se realiza un retablo para acoger tanto al Santo Ecce-Homo como a la Virgen de los Dolores, Dolorosa de gran mérito que había llegado a este templo, auxiliar que fuera de la parroquia de San Miguel y elevada a parroquia en 1911, desde el cercano palacio de los marqueses de Villamarta, donde había sido muy venerada por la nobleza jerezana.
Ambas imágenes despertaron gran devoción y fervor en la ciudad, dando origen a que en el año 1949 un grupo de entusiastas cofrades gestaran la posibilidad de que la talla de esta Virgen de los Dolores procesionara en la Semana Santa de Jerez representando el misterio de la soledad de María al pie de la cruz tras ser llevado el cuerpo de Cristo al sepulcro.