关于离婚纠纷的问题咨询律师

您好！我来自湖南，女，今年24岁，我与他是高中同班同学，06年10月我们正式开始交往，他家里很穷，父母都在外地打工，09年8月他大学毕业后找了一份比较稳定的工作，我家里找关系把他调到了本地的单位，但他10月份便和他同单位的一名女子同居，后来在我家里强硬态度之下他与那名女子分手，10年1月20日与我领了结婚证，因我那时太爱他太舍不得他了，婚后我们买了一套有升值空间的二手房，他出3万我家出2万,然后他贷款10万元公积金，如果没有我父母的出力，我与他根本就买不到这套房子。婚后我过得很不开心，他对我冷漠至极，经济上尤其苛刻，谈恋爱的时候都是由我花钱，结婚两年了他家没办喜酒也没给一分钱彩礼，而且他总是以我没有稳定的工作而拒绝与我有小孩，他那同单位的女孩却在11年5月风光大办宴席结婚生孩子了，可我的境况却十分凄惨，婚后他时常心情不好对我打骂，因为我家当初破坏了他与那名女子的好事......2010年8月我在外地找了一份工作，这两年我们聚少离多，我每天以泪洗面，他却过得逍遥自在不以为然，10年底我曾要求离婚，但我父母坚决反对只好作罢。今年3月我灰心赌气做错了一件事情让他给抓住了把柄，现在他要到法院与我起诉离婚，我觉得和他之间没有什么感情了，离婚也罢，只是我觉得造成今天的结果他是有很大的责任的，这两年他一定也是有出过轨的，只是我没有抓住很确定的证据罢了，只是曾经在他的QQ上发现过他与一名洗浴中心的女子暧昧不清的聊天记录而已，我觉得他婚后是故意这样的，如果错在于我他就能起诉离婚谋取更大的利益，请问我该怎么做才能让自己的损失降低到最少？