父亲因与母亲离婚从小就离开了儿子，因自身的困难也没有赡养过儿子，现父亲老了，儿子有没有义务赡养父亲。