男人多次出轨，以前孩子小，老人身体不好，现在他还没做，我累了，后半生不想生气，想离婚，但他不离开。