我并没有向对方借钱，然而对方到处宣传我借他5万W，他单位领导还出面要我还钱，我该怎么办。