大数据开发工程师是负责大数据平台开发、维护及数据应用的技术工程师，其核心职责涵盖数据全流程处理与分析。以下是具体工作内容：

1. 大数据平台开发与维护

   • 负责大数据基础平台（如Hadoop、Spark）的架构设计、组件开发及性能优化，确保系统稳定运行。

   • 开发数据仓库工具（如Hive）、ETL调度工具及数据同步工具，实现数据采集、清洗、整合的自动化流程。

2. 数据采集与处理

   • 进行数据清洗、转换和加载（ETL），将业务系统数据高效导入大数据仓库，保障数据准确性和时效性。

   • 开发实时数据处理平台，满足业务对实时数据的分析需求（如实时数仓、流式计算）。

3. 数据分析与挖掘

   • 利用SQL、Python、Spark等技术进行数据统计、分析与挖掘，为业务提供决策支持（如用户行为分析、预测模型构建）。

   • 开发BI报表及数据可视化工具，帮助业务部门理解数据价值。

4. 系统运维与优化

   • 负责大数据平台的容量规划、监控及应急响应，保障系统安全性和高效性。

   • 参与新技术选型与调研，解决海量数据存储与计算挑战。

5. 技术支持与团队协作

   • 为业务部门提供技术指导，优化数据分析流程及模型。

   • 参与项目需求分析、方案设计及文档编写，确保项目成果质量。