昨天是合同约定房屋过户日，要我付违约金，问：我扣的这5万是否构成我违约。