违法建筑应由土地管理部门会同司法部门拆除，但其他人无权私自拆除，如果拆除了仅构成民事纠纷。