单位扣留员工护照的行为属于违法行为，具体法律依据如下：

1. 法律依据明确禁止

   根据《中华人民共和国护照法》第二条规定，护照属于公民个人所有，任何组织或个人不得非法扣押。单位无权以任何理由扣留员工护照。

2. 劳动合同法的禁止性规定

   《劳动合同法》第九条明确禁止用人单位扣押劳动者身份证件，包括护照。第八十四条进一步规定，违反该规定的单位将被责令限期退还证件，并处以罚款。

3. 限制人身自由的性质

   扣押护照可能构成对员工人身自由的非法限制，依据《中华人民共和国出境入境管理法》，除公安机关等法定机关外，其他单位无权实施此类行为。

4. 特殊情况下的合法保管

   仅限特定岗位（如涉及国家安全、机密工作）的公职人员，经依法批准可实施集中保管，但普通企业员工无此权限。且此类行为仍需严格遵循法律规定，不得擅自扩大范围。

建议 ：若遭遇单位扣留护照，可首先向劳动监察部门投诉，要求限期归还；若协商无果，可通过法律途径提起诉讼，维护自身权益。