Возможно ли восстановить отношения?

Я замужем.Три года у меня роман с женатым мужчиной.Все основано только на сексуальном влечении с его стороны,я испытываю к нему еще помимо этого и сильные чувства.Никогда не хотела изменить ситуацию и увести его из семьи.В браке все стабильно,есть дети.Уважение в обществе,хорошие друзья.Произошла нелепая ситуация,я совершенно случайно забыла в его машине после встречи часы.Я не вспомнила сразу про них,а он не проверил салон.Жена нашла через неделю.Теперь он меня обвиняет,что я разбила его семью.Подробностей не сообщает,общения избегает.Я очень расстроена.Мне было с ним очень комфортно.Не хочется потерять то,что мы с ним "создавали".Пусть это грех,но такова ситуация.Сейчас я не "трогаю" его,мы всегда общались в основном только через чат.Вижу,что он бывает в сети,я ничего не пишу,и он молчит.Чувствую,что думает обо мне,что я нужна ему.Но страх потерять семью наверное сильнее.Помогите разобраться.Это просто повод,чтобы расстаться? Или действительно отношения себя изжили и пора ставить точку?