业委会最怕的部门是房地产行政主管部门，如区、县房管局，以及街道办事处或乡镇人民政府。这些部门在业委会的成立、运作和监督中具有直接管理权限，能够对业委会的违法行为进行查处，甚至撤销其决定。

具体原因

1. 直接监管职责
   房地产行政主管部门是业委会的主管单位，负责监督业委会的选举、履职及活动是否符合法律法规。例如，当业委会的决定侵害业主合法权益时，这些部门可责令其限期改正或撤销其决定。

2. 对违法行为的查处
   如果业委会存在违法行为，如未依法召开业主大会、违规使用专项维修资金或与物业企业存在利益输送，房地产行政主管部门有权依法惩治，严重者可追究法律责任。

3. 协调和指导
   街道办事处或乡镇人民政府对业委会的筹备、换届和活动提供指导和监督。例如，在业委会筹备组成立或换届选举过程中，这些部门需审核候选人资格并监督选举程序的合法性，一旦发现违规行为，将直接影响业委会的运作。

4. 公众投诉的受理
   业主对业委会的不满或投诉，通常会通过房地产行政主管部门或街道办事处提交。这些部门会对投诉进行调查，并可能对业委会的运作提出整改要求。

总结与提示

房地产行政主管部门和街道办事处（乡镇人民政府）对业委会的监督和约束作用显著。业委会需依法履职，避免违法行为，否则可能面临严厉处罚。这些部门也是业委会与业主沟通的重要桥梁，业委会应主动接受监督，确保其行为合法合规，以维护全体业主的利益。