如果离婚，对方大姐要我支付男方10万损失费。但是小孩十岁以来，都是女方在养。男方都是在赌博。但这几年他们不给女方发回家。现在他们还告叫我拿十万。