违章建筑的认定是由县级以上人民政府土地行政主管部门负责的，现实情况中一般是由住建部门和市政管理部门负责的。住建部门和市政管理部门责令限期拆除在非法占用的土地上新建的建筑物和其他设施的，建设单位或者个人必须立即停止施工，自行拆除。
违法建筑拆除程序如下：
1.行政机关调查取证；
2.认定该建筑属于违法建筑；
3.作出责令停止违法行为通知书；
4.行为人不拆除违法建筑，行政机关作出行政处罚告知书。
《土地管理法》第八十三条规定，依照本法规定，责令限期拆除在非法占用的土地上新建的建筑物和其他设施的，建设单位或者个人必须立即停止施工，自行拆除；对继续施工的，作出处罚决定的机关有权制止。建设单位或者个人对责令限期拆除的行政处罚决定不服的，可以在接到责令限期拆除决定之日起十五日内，向人民法院起诉；期满不起诉又不自行拆除的，由作出处罚决定的机关依法申请人民法院强制执行，费用由违法者承担。
找法网提醒您，违法建筑与违章建筑的区别：
1.违法建筑与违章建筑的区别主要是范围不同。违法建筑的范围窄，仅指违反法律、行政法规的规定所建造的建筑物。违章建筑的范围较宽，指违反法律、法规和规章的规定所建造的建筑物。《国有土地上房屋征收与补偿条例》使用了“违法建筑”，显然将违法建筑认定为狭义的违章建筑。
2.违反法律法规不同。违章建筑违反《土地管理法》、《城乡规划法》、《村庄和集镇规划建设管理条例》等相关法律法规的规定动工建造的房屋及设施。违法建筑违反《中华人民共和国土地管理法》《中华人民共和国城乡规划法》等待。
