离婚协议小孩跟女方生活。现在男方要求要回小孩。我该怎么办。