女方在孩子4岁离开家说出去打工挣钱，请问这样的话要离婚，男方担心女方借机要财产。