非法建筑的认定通常由县级以上地方人民政府城乡规划主管部门负责。此外，根据具体情况，可能还涉及土地、建设等行政主管部门以及城管部门。1. 根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设