因为想保留车牌指标，所以将车牌借与别人使用，现在对方不想归还，我该如何处理。当时双方有私下签订协议。