男女双方只有形式上的婚姻没有结婚证，在哺乳期间女方多次因闹气抛下孩子，要房产。需要男方负责吗。