我们什么时候要回来不租给他了他就要把房子扒了。但是后来经过我的了解这属于违法的个人买卖土地，是否是违反合同法了呢？

你好 我是农村的有一件土地纠纷问题，之前我爷爷奶奶的责任田有两口人的土地，我爷爷去世的早，虽然有规定责任田是30年不变的使用权，但是我们自然对当时实行前走后跟就是嫁女儿或是有人去世的责任田退给新增加的人。由于大分地时是按照土地性质和质量的好坏进行平均分的，所以我爷爷奶奶的地按当时的人均土地面积是不到俩个人的地而我爷爷去世后我们退了一个人的地所以剩余的就不到一个人的土地面积了，在我奶奶去世之前由于各种原因而导致前走后跟不在继续，所以我奶奶去世之后我们也就没有退地现在土地还是我们的，我奶奶去世之前由于年龄大了没有能力耕种而我父母觉得那地就在村边经常遭到散养动物的侵害所以把地在2003年租给了同村的人耕种，2004年村田他在我们土地地头盖了一所两间的小房子，他说当时问过我妈妈，我妈妈觉的我奶奶年龄大了而且当时还是前走后跟的时候，这个地是要退的盖就盖吧，但是也说了我奶奶去世之后别家退地我们也退地别家不退我们也不退地，地还是我们的，我们什么时候要回来不租给他了他就要把房子扒了。我奶奶去世之前别家该退地的没退地所以我奶奶去世之后我们也没有退地。八年前我们把地要回来不让他租了，但是由于我们地南邻种了树我们也只能种树了，而让他扒房子他却不扒了，还跟我爸说谁敢让他扒房他跟谁拼命，当时就此事我们找过居委会到也没解决问题，一拖八年过去了他还想要在我地里搞建筑，这次我们再次找了居委会解决，居委会让我们自己协商，说他占了你们的地可以让他拿钱给你们把地买了，当时我们协商我爸同意了就价格也进行了商议，但是后来经过我的了解这属于违法的个人买卖土地，这次的口头协议属于违法的协议应该不存在法律保护的吧？ 地二次商议居委会说让他用他的另一块地和我们兑换一下，当时他说他那块地比我们的地多不愿意给我们换我爸说你不愿意换我也不愿意换。到他又同意了换，所以他说我爸也同意了换地，协商进行中我爸给我打电话说他要和我们地换地，我当时就不同意虽然他的地比我们地多我也不同意，因为我的地在村边上以后得经济效益比他的地大太多了。可以说根本没的比。因为当时还在协商当中我爸就立即表示不同意了，请问我爸是否是违反合同法了呢？ 由于我爸给我打电话我没同意所以村主任说让我也过去参加协商，快到中午了我没有到达居委会，所以主任说到晚上让我和我老婆一起参加协商。如约而至我们晚上参加了协商，并且我对协商的全过程进行了手机录音当然是偷偷录的，但是我偷录只是作为协商的证据防止达成口头协议后调解结束后有人反悔，此次调解我们达成共识村主任最后块结束时说这次口头协议也有法律效力，达成协议以后就不能反悔了，可是在24小时之后对方给我打电话说他老婆不同意了，让我们想怎么办怎么办！请问一下我应当怎么办？