我的租赁合同到期了，不想在续租，在退剩余的租金和押金。我怕搬走以后他不退，还是先退押金在搬走。