离婚时子女由一方抚养，几年后又提出不再抚养子女如何处理。