男方是有家庭的人，其老婆又不肯离婚，但是他已经跟其他女人同居多年了，男方应该怎么做。