我把房子租给中介了，现在中介出事了，现在我的房子里住着人，是否可以让他们离开我的房子。