我和村里的人交换土地盖房子，签约时说的土地上有别人，现在别的家人也来我家闹，签约时没有写具体的土地，现在和我签约的人也后悔没有那么多，请告诉我该怎么办。