大数据云计算现场工程师主要负责数据采集、处理、分析及云平台运维等工作,具体职责可分为以下四类:
-
数据采集与处理
负责从传感器、社交媒体、移动设备等不同来源收集结构化、半结构化或非结构化数据,运用编程能力(如Python、Java)和数据处理工具(如Hadoop、Spark)确保数据质量,并进行清洗、整合与存储。
-
数据分析与业务支持
通过数据分析工具(如SQL、Python)挖掘数据价值,为业务提供洞察和决策支持。例如,识别用户行为模式、优化业务流程或预测市场趋势。
-
云平台架构设计与运维
-
负责云平台(如OpenStack、Kubernetes)的架构设计、性能优化及稳定性维护,确保系统可扩展、安全可靠。
-
进行日常部署、故障排查、数据备份及安全监控(如日志审计、设备加固),保障云服务稳定运行。
-
-
技术支持与团队协作
-
参与项目需求分析、系统设计及技术选型,指导开发团队解决技术问题。
-
与数据科学家、业务分析师等跨部门协作,确保数据处理与业务目标一致。
-
岗位要求 :通常需掌握Linux/Windows系统、数据库(如Oracle)、虚拟化技术(如KVM),并具备良好的学习能力、沟通能力和问题解决能力。