违章建筑应该由什么部门来进行认定

违章建筑应该由县级以上地方人民政府城乡规划部门来认定。我国法律规定，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设。

《土地管理法》第七十八条
农村村民未经批准或者采取欺骗手段骗取批准，非法占用土地建住宅的，由县级以上人民政府农业农村主管部门责令退还非法占用的土地，限期拆除在非法占用的土地上新建的房屋。
超过省、自治区、直辖市规定的标准，多占的土地以非法占用土地论处。
《城乡规划法》第六十四条
未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。