根据现行规定，因私护照是否需要交单位保管需分情况讨论：

一、公务员及事业单位工作人员

1. 县处级以上干部 ：因私出国（境）的护照需交单位组织人事部门统一保管。

2. 乡科级以上干部 ：同样需交单位保管。

3. 登记备案人员 ：包括各级党政机关、事业单位在职的县处级以上领导干部及离休的厅局级以上干部，回国后10日内需上交护照。

二、普通公民（非公务员）

• 单位无权扣留或保管个人因私护照，仅公安机关、原发证机关或司法机关在法定情形下可依法处理。

• 因私护照由持证人自行保管，单位要求扣留属于违法行为。

三、特殊情况

• 公司派遣员工 ：部分公司可能因签证担保或押金回收要求扣留护照，但属于企业内部管理行为，与单位对公务员的保管性质不同。

• 退休人员 ：因公护照需单位保管，因私护照则按个人意愿处理，单位无强制权。

总结 ：仅公务员及事业单位特定职级人员因私护照需单位保管，普通公民及退休人员无需上交。若单位违规扣留，可依法**。