数据开发学习路径（本人亲测）

数据开发学习路径（本人亲测） 分享一下我在大数据方向的学习路线，列出的基本上是必须掌握的内容。对于项目方面，建议先离线后实时项目，再之后便是数据湖等项目。另外推荐《大数据之路》这本书，里面涉及到的理论和企业中的白皮书基本一样。平常也可以多翻看各个公司公开分享的技术文章，源码等。比如：阿里的学习文档、美团的技术文档等，在没有实际生产经验时可以了解各个场景下技术选型、底层调优、内存调整、资源配置、数据治理等各个重要环节和内容。1. Java：JAVA SE、JVM、JUC（刚开始只需要看Java基础就可以，不要花太多时间在Java的学习上，也不需要学习一些web框架，因为不管是源码二次开发，UDF开发，还是数仓都不需要用到这些框架，除非涉及到数据平台开发。2. Linux+Shell，熟悉基本操作即可3. Git、Maven（了解会用，如果需要使用能快速学习上手使用即可）4. Hadoop（重点，HDFS，MapReduce，Yarn）5. Zookeeper6. Hadoop高可用（了解即可）7. Flume8. Kafka（重点，时间紧张的话可以大致了解用途，后面可以和Flink一起学，主要用来处理实时数据）9. Hive（重点，需要熟练了解原理，并且会写HQL，以及一些优化，是基础）10. Spark（重点，大部分公司都是写SparkSQL，并且调优，需要明白底层原理，内存结构，SparkUI等，来不及的话可以先跳过Java API编写Spark代码的学习）11. Maxwell、DataX、DolphinScheduler（项目中数据同步、模拟日常调度工作）12. 离线数仓项目：sgg电商数仓6.0（跟着做完这个项目，就知道数仓、维度模型、指标体系等等，以及生产中一些内容。这套教程比较全面，若来不及可以选择sgg其它离线数仓项目）。学到这里可以去找实习，实时数仓等技术可以在实习中抽空学13. Flink（重点）14. MPP架构（如：Doris、Clickhouse、StarRocks）15. 实时数仓项目16. 数据治理17. 数据湖、湖仓一体18. 刷算法、刷sql、刷场景题 #数据开发工程师# #秋招# #春招# #实习# #大厂# 全部评论 推荐最新楼层 BlueNeptune 西南交通大学 数据分析师 求分享资料 点赞 回复 分享 发布于 06-29 16:37 四川 进阶小子 重庆大学 数据仓库 mark一下 点赞 回复 分享 发布于 06-26 10:36 北京 好好学习天天向上000 数据分析师 求大佬分享资料 点赞 回复 分享 发布于 06-19 10:18 四川 算法实习生z 吉林财经大学 数据分析师 求资料 点赞 回复 分享 发布于 06-13 08:13 安徽 牛客553426436号 华中科技大学 Java 求资料 点赞 回复 分享 发布于 06-10 20:42 江苏 Thanotosis 字节跳动_火山引擎_AI PM(实习员工) 求资料 点赞 回复 分享 发布于 05-31 23:31 北京 牛客402328244号 字节跳动_大数据开发工程师(实习员工) 大佬求资料 点赞 回复 分享 发布于 05-29 10:44 广东 烧饼1 桂林电子科技大学 Java 求，还有佬会配套视频学习吗，有推荐视频吗 点赞 回复 分享 发布于 05-27 18:42 广西 牛客361253109号 数据仓库 大佬，求资料分享 点赞 回复 分享 发布于 04-29 19:16 陕西 HoboLi 南京邮电大学 硬件开发 大佬求资料 点赞 回复 分享 发布于 04-18 14:04 江苏 牛客726534908号 大连理工大学 大数据开发工程师 求资料，谢谢！ 点赞 回复 分享 发布于 03-11 21:27 辽宁 牛客529263656号 大数据开发工程师 大佬，求资料 点赞 回复 分享 发布于 03-11 15:55 广东 牛客254183057号 湖南工商大学 大数据开发工程师 求资料 点赞 回复 分享 发布于 02-20 23:21 云南 joecii 门头沟学院 大数据开发工程师 佬，求下资料 点赞 回复 分享 发布于 02-16 23:43 广东 羽羽向前冲 中南大学 Java 求资料 点赞 回复 分享 发布于 02-15 22:33 湖南 牛客152848025号 陕西师范大学 算法工程师 可以分享一下学习资料嘛 点赞 回复 分享 发布于 02-13 19:51 陕西 爱睡觉的冰箱哥 美团_到店_数据开发(实习员工) 求资料哥 点赞 回复 分享 发布于 02-09 09:59 安徽 没趣嘚紧 华南师范大学 Java 求一下资料，研一迷茫中 点赞 回复 分享 发布于 02-02 13:39 贵州 暂无评论，快来抢首评~