我父母离婚把债务和财产都在离婚协议上写得清清楚楚，但是他们离婚后我基本没回去住过，我该怎么办？

您好，我是离异家庭的孩子，我父母离婚把债务和财产都在离婚协议上写得清清楚楚，其中一套房子归我，另一套归父亲，车子归母亲，归我的那套房子的房产证一直写的我的名字，但是他们离婚后我基本没回去住过，一直跟母亲（本来是判给父亲的），就一直是父亲住在我的房子里，我大学毕业回来找了工作，也需要住自己的房子，但是父亲找了女人没经过我的同意直接带回我的房子，我和他们的关系处不好，父亲现在居然说那套房子是他的。他们要一直住在那。我该怎么办？