我现在该怎么办？我现在可以把这个平房归属到我的名下或我儿子的名下吗？

我丈夫在外和另外一个女人生了一个孩子 他请求我原谅 但是怕被法律制裁 所以骗我和他离婚 在离婚之前他告诉我他会回心转意 所以离婚协议是他写的 我当时心软以为他会回头就随他写了 自己也同意了 现在想起十分后悔。 离婚协议如下（和原稿一致，姓名 住址 隐藏）： xx市人民法院 民事调解书 原告xxx，女 xx年x月x日出生，汉族，xx商场营业员，住xx生活区x幢x室。 被告xxx，男 xx年x月x日出生，汉族，个体，住xx生活区x幢x室。 案由：离婚 原、被告双方于1982年x月举行结婚仪式，未到婚姻登记机关登记，属事实婚姻。xx年x月x日生一子xx。婚后尤其是近四五年来，双方常发生吵闹，故原告于1999年元月诉来本院，要求与被告离婚。 本案在审理过程中，经本院主持调解，双方当事人自愿达成如下协议： 一、原告xxx与被告xxx离婚。 二、双方所生之子xxx随原告生活，被告自1999年2月起每月给付抚育费200元至其独立生活为止。 三、夫妻共同财产xx生活区x幢x室住房一套归原告所有；双方自砌的平房壹间归被告所有。各人衣物归各人所有。 案件受理费50元，公告费100元，勘验费300元，计450元，由原告负担。 上述协议，符合有关法律规定，本院予以确认。 本调解书经双方当事人签收后，即具有法律效力。 审判员 xxx 一九九九年元月十九日 书记员 xxx 离婚事件过去了以后 他没有把房子转到我的名下 我以为他会信守承诺 和那个女人了断和我复婚 但是他却变本加利的和那个女人好 他搬出了家和那个女人生活 我的心彻底碎了 我痛苦 我愤怒 我后悔我当初 没有和他完全了断 我在绝望中决定和他一刀两断 可是现在他借由那个属于他的自砌的小平房 经常来骚扰我 说这个小平房是属于他的 他想来就来 想住多久就住多久 我崩溃了 我打了110 但是警务人员说他们没有权利管他 因为这个小平房是他的（他要进入这个小平房必须进入我的家门） 他就这样骚扰着我和我的儿子 我现在该怎么办？ 我现在可以把这个平房归属到我的名下或我儿子的名下吗？