您好，我们这动迁，政府部门帮我分了两个房屋，我哥哥借走套去住，那时候说等他分房屋时还一样大的帮我，他如今要还小屋子帮我，我反对，我规定他退还自己的那一套他不同意，说房屋是他自己的了，我该怎么做。