男方在孩子小时候家暴，在孩子大的时候怀疑女方出轨，没有证据，孩子有两个，该怎么分配。