由卖方支付违约金，我想说的是我定金交与中介，我作为买方该怎么办

本月12号通过中介和卖方签订购房合同并支付两万定金到中介账户(买方承诺两次付清，首付28.6万含中介的2.3万；尾款走公积金贷款付)，事后第二天卖方借各种理由迟迟不交易，今天直接到中介言明要么一次付清房款交易，要么他卖方中止交易，中介现打电话给我说卖方耍无赖，要想履行合同就由我去起诉卖方，由卖方支付违约金，中介管不了，他只负责协调。我想说的是我定金交与中介，合同是三方当面签下具备法律效应，现在中介全丢给我自己去维权，他们做法有失公道。我作为买方该怎么办，。