咨询一下由于男方有耳聋残疾，要求离婚，男方不同意，该怎么办。