男方不管孩子，离婚也不回来，说到抚养费就叉开话题，该怎么办。