我们前任领导，给我们业委会一间办公用房，今天找我谈话让我们退出房子，请问我们该怎么办。