(一)主观方面的区别
虐待罪的故意是行为人有意识地对被害人进行肉体摧残和精神折磨;遗弃罪的故意，即行为人明知自己应当履行扶养义务，也有实际履行扶养义务能力而拒绝扶养。
(二)客观方面的区别
虐待罪的客观方面，表现为经常或连续折磨、摧残家庭成员身心健康的行为;遗弃罪的客观方面，表现为对没有独立生活能力的家庭成员，具有扶养义务而拒绝扶养的行为。
(三)主体要件的区别
虐待罪的主体，必须是在一个家庭内部共同生活的成员;遗弃罪的主体，必须是对被遗弃者负有法律扶养义务而且具有履行义务能力的人。
(四)客体要件的区别
虐待罪侵犯的客体是复杂客体，既侵犯共同生活的家庭成员在家庭生活中享有合法权益，也侵犯了被害人的身体健康;遗弃罪侵犯的客体，是家庭成员之间相互扶养的权利义务关系。
二、虐待罪的犯罪构成有哪些?
1、客体要件
本罪侵犯的客体是复杂客体，包括家庭成员在家庭中的合法权益，主要是家庭成员之间的平等权利;同时由于虐待行为所采取的方法，也侵犯了受害者的人身权利。
2、客观要件
本罪在客观方面表现为经常虐待家庭成员的行为。首先要有对被害人肉体和精神进行摧残、折磨、迫害的行为;其次，行为必须具有经常性、一贯性。
3、主体要件
本罪的主体为特殊主体，必须是共同生活的同一家庭的成员，相互之间存在一定的亲属关系或者扶养关系。如夫妻、父母、子女、兄弟姐妹等等。
4、主观要件
本罪在主观方面表现为故意，即故意地对被害人进行肉体上和精神上的摧残和折磨。
在具体的司法实践中，要划清的不仅仅是虐待罪和遗弃罪的区别，还要注意虐待罪和其他犯罪的界限，这样才能更好的对虐待罪作出界定。当然，在认定虐待罪的时候也是可以从法律中规定的犯罪构成入手分析的，具有相应的行为，还要求满足规定的立案标准，这样才会被认定构成虐待罪。
