男方起诉离婚彩礼是不一定要退还的。
《最高人民法院关于适用<中华人民共和国民法典>婚姻家庭编的解释（一）》第五条当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
（一）双方未办理结婚登记手续；
（二）双方办理结婚登记手续但确未共同生活；
（三）婚前给付并导致给付人生活困难。
适用前款第二项、第三项的规定，应当以双方离婚为条件。
找法网提醒您，离婚时女方不退彩礼如下起诉：
1.准备好民事诉讼状。
2.到具有管辖权的人民法院起诉，并提交相关的证据材料。
3.按照人民法院的通知准时出席参与诉讼活动。
4.若不服一审判决或裁定，应在接到判决书后15天内或接到裁定书后10天内向原审人民法院或上一级人民法院提出上诉，并递交上诉状。
退还彩礼的注意事项有：
1.解决彩礼纠纷时应遵循的原则。决定彩礼是否返还，以当事人是否缔结婚姻关系为主要判断依据。给付彩礼后未缔结婚姻关系的，原则上应返还彩礼；如果已结婚的，原则上彩礼不予返还；按照习俗举办了结婚仪式但没有领取结婚证书的，解除同居时彩礼原则上不予返还；
2.结婚前给付彩礼的，必须以离婚为前提，才能考虑支持返还请求。如果给付彩礼之后，在婚姻关系存续期间，给付人要求返还给付的，不予支持，因为此时夫妻尚作为一个共同体，遵循夫妻法定财产共有制。如果当事人在离婚诉讼的同时提出该项请求，法院准许离婚的，可根据情况作出是否支持返还彩礼请求，判决不准离婚的，不能支持当事人返还彩礼的请求；
3.必须是当地确实存在婚前给付彩礼的习俗。如果当地没有此种风俗存在，就谈不上给付彩礼的问题。
