名誉侵权

我以前在河北徐水县跟着我表哥打工，后来我腰疼不做了回家了，我让他给我算工资，他说了一句就这吧！也别算了。后来我让我老婆去我姑妈家要钱，我姑妈告诉我老婆说:我表哥说我在外面找了一个女的。就因为这个我老婆工资也没有给我要回来，回来还老是和我吵架，现在闹的要和我离婚。我就是想问一下这个算不算名誉侵权啊？如果算，就算是离婚，我也要让我表哥把这件事情给我说清楚，还我清白，我不想背着一个出轨的名誉离婚。要是真有一个我也无所谓了，可是现在我真的是没有啊！