丈夫有了情人6、7,但是始终坚持不离婚,现在只是把工资放在家里,我的家现在就是他的旅馆饭店。我生病也好、孩子也好他从来不管不问,我曾劝过多次,还用了朋友劝也不管用,现在他们一直保持联系,他不承认是情人关系,说就是愿意听她说话心里舒服。我很纠结,请问胡老师;我该怎样保卫我的婚姻。