双方可以协商解决，但是双方协商解决不了的，可以向提起诉讼，让法院判决。对于孩子抚养权问题，要从有利于孩子成长的角度出发，仔细确认双方的情况后判决，但哺乳期间的孩子一般判给女方抚养，如果不是哺乳期，就要看那方更适合小孩成长并征求小孩本人意见。但是在两周岁以下的子女，一般随母方生活。母方有下列情形之一的，可随父方生活：
1、患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的。
2、有抚养条件不尽抚养义务，而父方要求子女随其生活的。
3、因其他原因，子女确无法随母方生活的。
因此，男方出轨致离婚，孩子的抚养权要视情况而定。只要女方无重大疾病并愿意抚养孩子的，两岁以下一般是归女方抚养。超过两岁的，就要视情况而定，一般会结合孩子的意愿和双方的条件来判孩子的抚养权归谁。法律依据：《中华人民共和国
民法典》
第一千零八十四条 父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或者母直接抚养，仍是父母双方的子女。
离婚后，父母对于子女仍有抚养、教育、保护的权利和义务。
离婚后，不满两周岁的子女，以由母亲直接抚养为原则。已满两周岁的子女，父母双方对抚养问题协议不成的，由人民法院根据双方的具体情况，按照最有利于未成年子女的原则判决。子女已满八周岁的，应当尊重其真实意愿。
第一千零八十五条 离婚后，子女由一方直接抚养的，另一方应当负担部分或者全部抚养费。负担费用的多少和期限的长短，由双方协议;协议不成的，由人民法院判决。
前款规定的协议或者判决，不妨碍子女在必要时向父母任何一方提出超过协议或者判决原定数额的合理要求。
《最高人民法院关于适用
婚姻家庭编的解释（一）》
第四十四条 离婚案件涉及未成年
子女抚养的，对不满两周岁的子女，按照民法典第一千零八十四条第三款规定的原则处理。母亲有下列情形之一，父亲请求直接抚养的，人民法院应予支持：
（一）患有久治不愈的传染性疾病或者其他严重疾病，子女不宜与其共同生活；
（二）有抚养条件不尽抚养义务，而父亲要求子女随其生活；
（三）因其他原因，子女确不宜随母亲生活。
