最高人民法院《关于审理离婚案件处理子女抚养问题的若干意见》第16条规定,一方要求变更子女抚养关系有下列情形之一的,应予支持:

1.与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的;

2.与子女共同生活的一方不尽抚养义务或有虐待子女行为,或其与子女共同生活对子女身心健康确有不利影响的;

3.10周岁以上未成年子女,愿随另一方生活,该方又有抚养能力的;

4.有其他理由需要变更的. 根据以上规定,只要具有上述任意一种情形,你即可向人民法院申请变更抚养权.

《民法通则》第十六条 未成年人的父母是未成年人的监护人。

未成年人的父母已经死亡或者没有监护能力的，由下列人员中有监护能力的人担任监护人：
（一）祖父母、外祖父母；
（二）兄、姐；
（三）关系密切的其他亲属、朋友愿意承担监护责任，经未成年人的父、母的所在单位或者未成年人住所地的居民委员会、村民委员会同意的。
...因此，该小孩的抚养权应为其生母。当然，若其生母不想抚养，则可以委托孩子的爷爷抚养。

案例：

我与前夫是 2005 年离婚的,离婚时,双方签了协议 " 女儿由男方抚养 " .后来男方与她人再婚,并生有一女儿.再婚后,男方及其家人对我们的女儿都非常冷落,经常把我们 10 岁的女儿独自一人留在家里,我就想多去看望关心女儿,但是男方不但不配合,甚至拒绝我前去探望女儿,为此我俩经常吵架.女儿表示更愿意与我一起生活,,我可以申请变更抚养权吗?

子女不是私有财产,我国《婚姻法》第38款规定:离婚后,不直接抚养子女的父或母,有探视子女的权利,另一方有协助的义务.另外,你们离婚后对子女仍有平等的抚养权,双方可以协议变更小孩的抚养关系,协议不成时,可以向法院提出变更孩子的抚养权诉求,根据《最高人民法院关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》第16条的规定,对于10周岁以上的小孩,如果愿意随女方生活,而且女方又有抚养能力的,可以判给女方抚养.