Les Carmélites s'installent à Gray en 1644. La chapelle, construite en 1667, est consacrée en 1691. Elle a eu un rôle religieux et de bienfaisance jusqu'à la moitié du XXème siècle. En 1978, elle est transformée en dépôt départemental d'art sacré, dont la vocation est de protéger les objets religieux provenant des différentes communes du département de la Haute-Saône. Dans le cadre de la chapelle se trouve l'exposition permanente de quelques pièces magnifiques ("Vierge à l'enfant", École Bourguignonne du XVème siècle) et, à l'étage, une exposition temporaire différente chaque année.