亲爸在我很小父母离婚后，而且我是判给父亲的，父亲也一直对我没有抚养和抚养费，我如何可以不养他。