Беситесь потому, что он просто не любит вас, а только пользуется, но вы не хотите в этом себе признаваться. Беситесь потому, что ощущаете бессмысленность таких отношений - он отбирает у вас вашу жизненную энергию, ваше время, годы, эмоции, чувства, а сам ничего взамен не отдает. Поэтому ваша нервная и психическая система истощаются, вы стали невротиком, дальше станете психопаткой. А ему хоть бы хны - прибежал, подпитался от вас, укрепил свою самооценочку (на благо его здоровья и его семейных отношений) и убежал. Если разводиться у вас обоих в планах нет, то рвите эти отношения, иначе они убьют вас. А у вас дети, подумайте о них.