我想离婚，但男人不同意，怎么办，受不了男人的诽谤。