跳舞冤枉发生关系怎么办？

本人会跳交谊舞老实、内项。都是晚上跳的，与一位母亲介绍的小姐妹跳舞。已经跳了5年多了。因为习惯一个歌舞厅就一直这样跳下去了。本人男未婚27岁，女42岁，已婚。在长期跳舞的情况下，有个无赖的人(50多岁男人）喝老酒的也一直来歌舞厅且在同一歌舞厅。他平时不跳就喝老酒，有时自动坐在我们身边讲下流话，说我和她（我母亲的小姐妹）有关系之类的，有时旁观者都听到的，并且说的很响，还邀请我的朋友跳舞。我的朋友不好意思也跳了，没想到他还是说下流话并无赖的与旁观者说我们关系很好。一直这样，大概持续一年了，我一直避开他，他还跑过来坐在我们旁边还讲下流话。旁观者有的是对我的朋友关系很好的，他们有时也传话，偶尔也会传到我朋友的家人那儿去，他的男人知道了有时警告她不要去跳舞，但她是冤枉的，因为外面风声传来传去的。我很怀疑是无赖男人说的，但他不肯承认，还说是对我开玩笑的。说我吃醋。还一直这样说，看来歌舞厅里已有一半的人都知道了。我的朋友也很难过，她处理的办法是继续与他跳让他自动封住嘴，可他还是一直讲并且有时还拿自己的脏手摸我的朋友。起初，我还提醒他，但我的朋友说人家是无意识的，其实我的朋友早知道他是有意的，只是她憋在肚子里。我又不能多说什么？因为我不是她的老公。我的朋友只能忍气吞声。他的意思我想很简单：我就是这样，你拿我怎么办？说真的我不知该怎么办？