母亲曾经和大儿子住在一起，后来因为一些小小的争吵，我嫂子和两个奶奶带回家，他们养老了五年，现在我不养老了问怎么办。