公公出钱付的首付，离婚时，协议上房子给我。前夫一直住在房子里。请问我有没权利让前夫搬出去。