结婚没多久，变离婚了！男方当时给的聘礼，现在我退回，可是男方不满意，要更多的钱。怎么办。