退档的档案最终会退回考生原籍地的人力资源和社会保障局、人才市场或原学校（针对学籍档案），具体去向取决于户籍情况、档案类型及当地政策。

1. 原籍地人社局或人才市场
   对于高考或大学退档的档案，若考生无明确接收单位（如国企、公务员单位），档案通常由高校或招生办退回至原籍地的人力资源和社会保障局。部分情况下，考生可主动申请将档案寄送至指定人才市场托管，避免“死档”风险。

2. 原学校（针对学籍档案）
   中考或特殊教育阶段的退档，学籍档案一般退回原毕业学校，等待补录或进一步安排。需注意，个人通常无法直接提取档案，需通过学校或教育部门协调。

3. 指定工作单位（少数情况）
   若考生已被公务员、国企等单位录取，档案可能直接退回至该单位人事部门，但需单位与档案管理机构提前对接。

总结：退档档案的流向以户籍地和政策为主导，考生需及时通过招生网站、电话咨询或实地查询确认档案去向，避免因长期未处理导致档案失效。