我和他妻子出轨被他知道了。我都没有还手。可是他居然来我家威胁我家人。我该怎么办呢？我是不想让妻子知道。