结婚两年，因性格问题不和，想要离婚。男方要求退彩礼钱才肯退还离婚。应该怎么办。