咨询一下购买买房子男方让我们离婚。我们离婚后还是没有贷款下来。我们要退房。违约金。他就没有责任吗。