自留地属于农民集体所有，一般不能收回。但任何单位和个人闲置、荒芜耕地，连续二年未使用的，县级以上人民政府可以收回用地单位的土地使用权，交由原农村集体经济组织恢复耕种。
《土地管理法》第三十八条
禁止任何单位和个人闲置、荒芜耕地。已经办理审批手续的非农业建设占用耕地，一年内不用而又可以耕种并收获的，应当由原耕种该幅耕地的集体或者个人恢复耕种，也可以由用地单位组织耕种；一年以上未动工建设的，应当按照省、自治区、直辖市的规定缴纳闲置费；连续二年未使用的，经原批准机关批准，由县级以上人民政府无偿收回用地单位的土地使用权；该幅土地原为农民集体所有的，应当交由原农村集体经济组织恢复耕种。
