退休返聘人员不能随意辞退，需根据聘用合同约定处理。具体分析如下：

1. 法律关系性质

   退休返聘人员与用人单位之间属于劳务关系，而非劳动关系，不受《劳动合同法》中关于劳动合同终止的法定情形约束。

2. 辞退条件与程序

   • 需遵循合同约定 ：若双方签订聘用协议，辞退必须符合协议条款，例如提前通知期限、经济补偿等。

   • 法定情形限制 ：仅当返聘人员存在严重违反规章制度、失职等法定情形时，用人单位方可解除合同（如《劳动合同法》第三十九条规定的情形）。

3. 经济补偿问题

   • 有约定需支付 ：若聘用协议明确约定解除时需支付经济补偿金，用人单位应依约执行。

   • 无约定可辞退 ：若协议未约定经济补偿，用人单位可随时解除合同，但需出具终止证明。

4. 特殊情况处理

   若返聘人员已达到法定退休年龄，用人单位可终止聘用关系，但需依法办理相关手续。

总结 ：辞退退休返聘人员需以聘用协议为依据，不能随意操作。建议用人单位与返聘人员签订书面协议，明确双方权利义务，以降低法律风险。