我们离婚快一年了。离婚协议中孩子回到他身边，没有支付抚养费，平时每月支付生活费，现在想回到孩子身边，孩子的祖母给孩子钱，我该怎么办，我不想给她钱。