从小母亲去世，而且还天天打骂。如今奶奶去世，我该怎么办？想和他断绝父子关系，可是法律不允许。