人社部关于退休人员的退休时间计算确实是按照公历进行的。

1. 退休年龄计算依据
   退休年龄的计算是以公历为标准，不论个人档案中最早的出生年月记录是公历还是农历，最终都会转换为公历日期来计算退休时间。

2. 身份证与档案结合认定
   根据相关规定，退休年龄的认定实行居民身份证与职工档案相结合的办法。当两者记载的出生时间不一致时，以档案中最早记载的出生时间为准，但最终仍按公历计算。

3. 法律规定的退休条件
   《国务院关于工人退休、退职的暂行办法》规定，男性年满六十周岁，女性年满五十周岁（女干部五十五周岁），连续工龄满十年的，应该退休。这些年龄均以公历计算。

4. 特殊情况处理
   如果个人身份证上的出生日期与档案记录不一致，通常以档案中最早记载的日期为准，但计算退休时间时仍按公历。

5. 总结
   无论是从法律规定还是实际操作来看，人社部关于退休人员的退休时间计算都是按照公历进行的，确保了计算的统一性和准确性。

通过以上几点，可以清晰地了解人社部在计算退休人员退休时间时的标准和依据。