1、客体要件不同。遗弃罪侵犯的客体，是家庭成员之间相互扶养的权利义务关系;而虐待罪侵犯的客体则是复杂客体，既侵犯共同生活的家庭成员在家庭生活中享有合法权益，也侵犯了被害人的身体健康。
2、犯罪客观方面不同。遗弃罪的客观方面，表现为对没有独立生活能力的家庭成员，具有扶养义务而拒绝扶养的行为;而虐待罪的客观方面，则表现为经常或连续折磨、摧残家庭成员身心健康的行为。
3、主体要件不同。遗弃罪的主体，必须是对被遗弃者负有法律扶养义务而且具有履行义务能力的人;而虐待罪的主体，必须是在一个家庭内部共同生活的成员。
4、犯罪主观方面不同。两罪在主观方面虽均是故意，但其故意的内容不同。遗弃罪的故意，即行为人明知自己应当履行扶养义务，也有实际履行扶养义务能力而拒绝扶养;而虐待罪的故意是行为人有意识地对被害人进行肉体摧残和精神折磨。
5、犯罪侵犯的对象不同。遗弃罪的犯罪对象，只限于年老、年幼、患病或者其他没有独立生活能力的人;而虐待罪的犯罪对象可以是任何人。
