当时小孩们抚养权和财产都归男方，但男方不旅行抚养行为，男方不按时给生活费，可不可以要回抚养权和财产。