子女因财产与老人发生争执，一直与老人吵闹，争要财产，老人不愿给，便要不履行抚养责任，该怎么处理。