Der Überlieferung zufolge schlug 1307 bei einem Gewitter ein Blitz in die Burg auf dem Frauenberg ein und setzte das Gebäude in Brand. Das Unglück überlebte nur der einjährige Stammhalter, da er der Geschichte nach von einer Amme in einen Kessel gesetzt und mit diesem den Berg herunter gerollt wurde. Als Dank für die Rettung schenkten weitere Verwandte des Überlebenden
den Platz, auf dem die Burg stand, dem Zisterzienserkloster Salem. Zwei Jahre später wurde die Kapelle, die es neben einem Priesterhaus zu bauen galt, geweiht.
Seit 1982 wird das Kloster von der katholische Gemeinschaft „Communitas Agnus Dei“ bewohnt.
Die Wallfahrtskapelle auf dem Frauenberg ist zugänglich. Ein schmaler Weg führt von Bodman auf den Frauenberg. Auch vom Parkplatz am Hofgut Bodenwald kann das Kloster Frauenberg zu Fuß erreicht werden.
