我跟中介买了一套房子，中介公司现在以房东不给他们违约金为理由，不给我违约金。我该如何拿回我的违约金。