晚上工地施工噪音扰民一般不完全归公安管，在不同情形下由不同部门管理。

1. 在法定休息日、节假日全天，以及工作日12时至14时、18时至次日8时，禁止在已交付使用的小区楼内进行会产生噪声的装修施工，其他时段应减轻噪音干扰。若违反相关规定，制造噪声干扰他人正常生活，首先会给予警告，警告后不改正的，处200元以上500元以下罚款，这类情况主要由公安机关管理。
2. 在城市范围内，建筑施工过程中产生的噪音，应当按照国家有关规定在限定的时间内进行控制。违反规定进行夜间施工产生噪音扰民的行为，一般由县级以上人民政府环境保护行政主管部门或者公安机关依照各自职责实施处罚。环保部门负责监督和管理环境噪声污染防治工作，可依法调查处理；公安机关负责维护社会治安管理，也可依法调查处理。具体处罚措施包括责令改正、罚款等，对于情节严重的可能依法行政拘留。
3. 要明确各部门对于噪声管理的职责分工，以珠海市为例，市城市管理综合执法局牵头监督管理违反限定作业时间在已竣工交付使用的住宅楼等建筑物进行室内装修活动造成噪声污染等；市公安局牵头监督管理使用家用电器、乐器或者进行其他家庭场所活动产生噪声污染，以及乘坐公共交通工具、饲养宠物和其他日常活动中产生噪声对周围人员造成干扰等情况。

晚上工地施工噪音扰民的管理较为复杂，需依据具体情况判断归哪个部门管理，遇到此类问题可先了解清楚相关规定，向对应部门反映以解决问题。