请问如果在正式离婚两年后，遭遇对方人身攻击，诽谤加身怎么办？我在国外工作生活十年，我一个人工作

您好。请问如果在正式离婚两年后，遭遇对方人身攻击，诽谤加身怎么办？我在国外工作生活十年，我一个人工作，维持三口之家的生存，女方在我支持下上了七年护士学校，考到了护士证书，并顺利找到了护士工作，也因为我先拿到绿卡才顺利申请拿到绿卡，在美国工作生活无忧。但双方感情早已破裂，在我准备回国工作的过程中，她也从未打算跟我回国工作生活。在协议离婚谈判时，因为回国工作，并为孩子和女方在国外生活考虑，我主动净身出户，并答应女方提出的苛刻条件，每年支付三万，共计支付十一万美金，在回国前正式办理了离婚手续。回国后，因收入有限，压力巨大，我与对方商议约定每年支付两万美金，并如约支付了两年，孩子每年暑假回国生活的飞机票一万人民币的费用也由我承担。由于等待女方和孩子办理绿卡时间较长，我超龄回国，失去了海归人员评上“杰出青年”的机会，无缘更高的薪酬待遇。今年对方突然不满于我，除了威胁要找律师起诉我不按照离婚协议规定履行以外，还突然诽谤我离婚时有外遇在先，给我造成严重人身伤害。我一再要求对方书面道歉，然后再继续汇款履行离婚协议支付汇款，但对方态度强硬，不仅没有道歉的诚意，反而将事情更加复杂化，我接到律师电话，声称对方找到他想通过法律途径解决问题，起诉我失去信用，不肯履行离婚协议。律师的意思是想先进行调解，调解不成再接受对方起诉的诉求。我表达了我方态度和观点，从未有过不履行离婚协议的想法和行为，只是一我一直按照双方约定的支付速度履约，对方突然反悔；二不能接受对方的无端诽谤，人身攻击，人格侮辱。如要求我继续履行离婚协议付款，必须先正式道歉。对方律师以进行双方调解为由，要求我将具体情况写一份书面材料交给他。并声称我应配合他的工作，否则走到起诉的地步，因为涉外婚姻纠纷将会非常轰动，对我会造成严重不良影响。我对此表示气愤，面对对方毫无尺度、一意孤行的做法，我应该怎么应对？是否接受对方律师的要求？