退房的时候需要支付违约金，无正当理由退房需要支付违约金，因对方过错导致退房的，不需要支付违约金。
依据《民法典》第五百七十七条规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。
第五百八十五条第一款规定，当事人能够约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也能够约定因违约产生的损失赔偿额的计算方法。
办理退房手续应由一方向另一方发出退房通知，在退房通知到达对方时解除房屋买卖合同。
找法网提醒您，《中华人民共和国民法典》第五百六十五条当事人一方依法主张解除合同的，应当通知对方。合同自通知到达对方时解除；通知载明债务人在一定期限内不履行债务则合同自动解除，债务人在该期限内未履行债务的，合同自通知载明的期限届满时解除。对方对解除合同有异议的，任何一方当事人均可以请求人民法院或者仲裁机构确认解除行为的效力。
当事人一方未通知对方，直接以提起诉讼或者申请仲裁的方式依法主张解除合同，人民法院或者仲裁机构确认该主张的，合同自起诉状副本或者仲裁申请书副本送达对方时解除。
当事人可以约定违约金，也可以约定损害赔偿，一般而言这两者是不能并用的。当然，惩罚性损害赔偿金可以与违约金同时适用，但是惩罚性损害赔偿必须是法定的。
《中华人民共和国民法典》第五百八十四条当事人一方不履行合同义务或者履行合同义务不符合约定，造成对方损失的，损失赔偿额应当相当于因违约所造成的损失，包括合同履行后可以获得的利益；但是，不得超过违约一方订立合同时预见到或者应当预见到的因违约可能造成的损失。
