我是想问一下我跟我前夫离婚两个孩子都给了他，我每次回去看孩子都不被他骂，我不知道该怎么办。