我是房东，合同未到期，我们退租，对方也同意了，之后，又找我们要违约金，是否合理。