协商变更即可。 协商不成，可到被告人所在地的法院去起诉。
变更监护关系的法律依据
根据《民法通则》的规定，监护人不履行监护职责，或者侵害了被监护人的合法权益，其他有监护资格的人或者单位向人民法院起诉，要求监护人承担民事责任的，按照普通程序审理;要求变更监护关系的，按照特别程序审理;既要求承担民事责任，又要求变更监护关系的，分别审理。
其他有监护资格的人或者单位是指未成年人的父母; 祖父母、外祖父母; 兄、姐; 关系密切的其他亲属、朋友愿意承担监护责任， 经未成年人的父、母的所在单位或者未成年人住所地的居民委员会、村民委员会同意的;精神病人的配偶;父母;成年子女;其他近亲属;关系密切的其他亲属、朋友愿意承担监护责任，经精神病人的所在单位或者住所地的居民委员会、村民委员会同意的。
夫妻离婚后，与子女共同生活的一方无权取消对方对该子女的监护权;但是，未与该子女共同生活的一方，对该子女有犯罪行为、虐待行为或者对该子女明显不利的，人民法院认为可以取消的除外。
监护人可以将监护职责部分或者全部委托给他人。因被监护人的侵权行为需要承担民事责任的，应当由监护人承担，但另有约定的除外;被委托人确有过错的，负连带责任。
夫妻一方死亡后，另一方将子女送给他人收养，如收养对子女的健康成长并无不利，又办了合法的，认定成立;其他有监护资格的人不得以收养未经其同意而主张收养关系无效。
《未成年人保护法》第8条规定："父母或者其他监护人应当履行对未成年人的监护职责和，不得虐待、遗弃未成年人……"。第12条规定："父母或者其他监护人不履行监护职责或者侵害被监护的未成年人的合法权益的，应当依法承担责任。"
