遗产税是一个古老的税种。一般认为，最早产生于4000多年前的古埃及，埃及长老胡夫为了筹措军费，开征了遗产税的先河。到了1598年，近代意义上的遗产税在荷兰开征。其后，西方发达国家相继开征，主要目的都是为了筹措战争经费，战后即停征。比如在美国，美国联邦政府遗产税于1797年首次开征，现代意义上的遗产税是于1916年立法开征的，其目的是为应付世界大战而筹资。
关于遗产税的源头，有学者研究，认为主要有遗嘱检验税、土地继承金、遗赠权购置费和教会遗产税四种。所谓遗嘱检验税始于公元前7世纪，古埃及规定了财产转移税，只要转移财产就要纳税，包括死亡后遗产的转移，税率为10%。这种税是政府在登记时收取，因此也被认为是财产转移登记税。这种税不管遗产转给谁、转什么，都是统一标准，这也是后来遗产税的由来之一。
公元6年，古罗马皇帝奥古斯都迫使元老院通过了《关于1/20的遗产税的伏流斯法》，规定死者六等亲以外的遗产继承人应交纳所继承遗产的5%作为税金，因此是一种继承税。古罗马继承税的目的是使财产保留于家族或亲属集团内部，这是因为在当时，社会财富贫乏，要鼓励财富积累，以促进社会财富的创造。这与现代社会遗产税调节贫富分化的目标恰恰相反。当时的遗产税规定了专门的用途，用于士兵养老及屯田金，在这一点上，对现代遗产税专款专用制度有较大影响。
土地继承金起源于古日耳曼人的固有习惯，部下武士所用马匹、盔甲、武器系由主人提供，死后要交还主人。后来武士职业可以由后代继承，需要交纳一笔钱就可以将财物留下。封建社会中，封君为了维持服兵役的供应将封土赏赐给封臣，封臣死后，封土应归还。如后代想要继承封土，则要向封君提出请求，交纳一笔钱代替封土的归还，即土地继承金，经过核准，再行臣服、册封等诸礼。
受此影响，一些国家早期的遗产税只针对不动产。此外，在日耳曼民族有个牢不可破的法律习惯，只有亲子才可以继承不动产，如无亲子，该封地即复归部落或封君所有。但随着时间和观念的变化，即使无亲生子嗣，封地也可由死者的近亲属继承，但要交纳更高一些的继承金。现在不少国家的法律中也有类似的规定，如在荷兰关于遗产税的规定中，既要考虑遗产的总额，也要考量继承人与死者的关系。这种遗产税的实质是归还，随着土地的流转，土地被视为私有财产，这种一次性的税收逐渐消失。
