假设，夫妻双方离婚，孩子房子都归女方所有，男方不付抚养费，合法吗？请从法律的角度，详细解答。