大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、IT、金融、农业、通信等方面都有广泛应用。未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。以后想要做大数据相关的工作，需要学习哪些技术知识？罗马不是一天建成的，大数据工程师也不是短时间能锻造的。
大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、IT、金融、农业、通信等方面都有广泛应用。未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。以后想要做大数据相关的工作，需要学习哪些技术知识？罗马不是一天建成的，大数据工程师也不是短时间能锻造的。想要成为大数据开发工程师，也要看你是否骨骼惊奇，天赋过人！在学习大数据之前，你还需要有一定的基础！
、学习大数据需要的基础 1、java SE、EE（SSM）
90%的大数据框架都是Java写的
Java
java可以说是大数据最基础的编程语言，据我这些年的经验，我接触的很大一部分的大数据开发都是从Jave Web开发转岗过来的（当然也不是绝对我甚至见过产品转岗大数据开发的，逆了个天）。
一是因为大数据的本质无非就是海量数据的计算，查询与存储，后台开发很容易接触到大数据量存取的应用场景
二就是java语言本事了，天然的优势，因为大数据的组件很多都是用java开发的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入学习，填上生产环境中踩到的各种坑，必须得先学会java然后去啃源码。
说到啃源码顺便说一句，开始的时候肯定是会很难，需要对组件本身和开发语言都有比较深入的理解，熟能生巧慢慢来，等你过了这个阶段，习惯了看源码解决问题的时候你会发现源码真香。
2、MySQL
SQL on Hadoop
3、Linux
大数据的框架安装在Linux操作系统上
在有了上面的技术基础支撑之后，便可以开始我们的大数据开发工程师的锻造之旅了，可以根据以下三个大的方面进行学习，当然了，中间需要穿插一些项目练习，将理论和实战相关联才能成长的很快！
大数据实时分析 以spark框架为主
Scala：OOP（面向对象程序设计）+FP（函数是程序设计）
sparkCore：类比MapReduce
sparkSQL：类比hive
sparkStreaming：实时数据处理
kafka：消息队列
前沿框架扩展：flink
阿里巴巴：blink
3、大数据机器学习 spark MLlib：机器学习库
pyspark编程：Python和spark的结合 推荐系统 python数据分析 python机器学习
大家都知道大数据的技术日新月异，作为一个程序猿想要保持竞争力就必须得不断地学习。写这些文章的目的比较简单，一是可以当做一个笔记，梳理知识点；二是希望能帮到一些人了解学习大数据。每一篇的篇幅不会太长，阅读时间控制在5到10分钟。我的公众号大叔据，会同步更新。喜欢看公众号文章的同学可以关注下，文章的篇幅不会太长，不会占用你太多的阅读时间，每天花一点时间学习，长期积累总是会有收获的。 |
|
收藏
淘帖
踩
