我与买方在房产中介签订了买卖协议，买方交了定金，是否可以直接去中介领违约金，还是起诉买方。