调解协议有一款是这样写的：“双方如以此事调起任何争端，调起方承担全部责任”，请问我能根据这个去解决我现在的其他吗？

尊敬的各位大律师，我是从农村出来的一个打工者，可是因为家里发生的事情搞的心神不宁，也不知道怎么去处理。事情的内容是这样的：我爸在家里因为制止邻居强占宅地被他打成轻伤9级，经过医学鉴定。本我家以为打人者会把我爸送去医院看的，但他家依状他家兄弟多，有人有势不理我爸，所以我爸自己叫人送他去医院做了个医学鉴定并住院，尔后我家到派出所报案后，派出所根据调查依法把他带走并直接送去我们县城看守所；打人的邻居家属看到打人者被关进看守所就急着和我家调解，我家考虑到我和他家是邻居，抬头不见低头见，又是一个村子里的，所以接受了打人家属提出的调解方案，经过双方在派出所协商，在村长和村书记的见证下，双方鉴了调解协议。调解达成之后，我家不对打人者进行起诉，可是我家万万没有想到，打人者家属因为出了我爸的医药费用和误工费，觉得事后不服气，三番四次到我家门口和到我家里我爸面前辱骂恐吓，说如果不把调解给我爸的医药和误工费用还给他们，就叫我家从此不得安宁，每次到我家辱骂和恐吓都在半小时以上时间之内，我家弟弟有2个小孩，一个是1岁半还有个是6个月的，经常被打人家家属吓哭，我爸我妈都被她骂的像骂小孩一样，我和我弟不在家，我想打人者家属把我爸打成这样了，为什么还这样霸道啊，我想这天下还有没有王法了，再说了，赔尝医药及误工费用是打人家自己愿意的，为什么现在又要叫我家全部还给他，连续闹了一个多月，我家忍无可忍，我们镇的管这个事情的人来说了下，现在好了点，但还是恐吓我家，叫我家不得安宁。你说我该怎么去处理这见事情？调解协议有一款是这样写的：“双方如以此事调起任何争端，调起方承担全部责任”，请问我能根据这个去解决我现在的其他吗？