离婚想跟母亲生活，但是父亲不给，孩子跟姥姥姥爷亲，他认为孩子到哪都归他。是不是跟不了母亲。