17年和前夫协议离婚，孩子给男方，其实孩子从小一直也由女方带。现在看到男方行为想申请要回孩子抚养权。