跟房东签了三年合同，等房子租出去退还。合同上写着期间我们不租了，不想给这个违约金怎么办。