我欠了别人五万块钱，我现在也拿不出钱来还他，可是他夫妻俩人就赖着我家不走，这样他购成犯罪行为吗。