非法建筑的认定通常由县级以上地方人民政府城乡规划主管部门负责。此外，根据具体情况，可能还涉及土地、建设等行政主管部门以及城管部门。
1. 根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设。
2. 违法建设的认定部门可能包括规划主管部门、土地主管部门、建设主管部门和城管部门。
3. 如果用地违法，一般由土地行政部门进行认定；如果建筑违法或程序违法，则由城乡规划部门进行认定。
4. 在实际工作中，可能由住建部门和市政管理部门负责具体的违章建筑认定和拆除工作。
请根据具体情况向当地相关部门咨询以获得准确信息
