黑马程序员技术交流社区

标题: 大数据学习 [打印本页]

作者: xuandatou 时间: 2019-8-25 16:09
标题: 大数据学习
大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、IT、金融、农业、通信等方面都有广泛应用。未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。以后想要做大数据相关的工作，需要学习哪些技术知识？罗马不是一天建成的，大数据工程师也不是短时间能锻造的。

大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、IT、金融、农业、通信等方面都有广泛应用。未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。以后想要做大数据相关的工作，需要学习哪些技术知识？罗马不是一天建成的，大数据工程师也不是短时间能锻造的。想要成为大数据开发工程师，也要看你是否骨骼惊奇，天赋过人！在学习大数据之前，你还需要有一定的基础！
、学习大数据需要的基础 1、java SE、EE（SSM）

90%的大数据框架都是Java写的
Java
java可以说是大数据最基础的编程语言，据我这些年的经验，我接触的很大一部分的大数据开发都是从Jave Web开发转岗过来的（当然也不是绝对我甚至见过产品转岗大数据开发的，逆了个天）。

一是因为大数据的本质无非就是海量数据的计算，查询与存储，后台开发很容易接触到大数据量存取的应用场景
二就是java语言本事了，天然的优势，因为大数据的组件很多都是用java开发的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入学习，填上生产环境中踩到的各种坑，必须得先学会java然后去啃源码。
说到啃源码顺便说一句，开始的时候肯定是会很难，需要对组件本身和开发语言都有比较深入的理解，熟能生巧慢慢来，等你过了这个阶段，习惯了看源码解决问题的时候你会发现源码真香。

2、MySQL

SQL on Hadoop

3、Linux

大数据的框架安装在Linux操作系统上

在有了上面的技术基础支撑之后，便可以开始我们的大数据开发工程师的锻造之旅了，可以根据以下三个大的方面进行学习，当然了，中间需要穿插一些项目练习，将理论和实战相关联才能成长的很快！

大数据实时分析以spark框架为主

Scala：OOP（面向对象程序设计）+FP（函数是程序设计）

sparkCore：类比MapReduce

sparkSQL：类比hive

sparkStreaming：实时数据处理

kafka：消息队列

前沿框架扩展：flink

阿里巴巴：blink

3、大数据机器学习 spark MLlib：机器学习库
pyspark编程：Python和spark的结合推荐系统 python数据分析 python机器学习

大家都知道大数据的技术日新月异，作为一个程序猿想要保持竞争力就必须得不断地学习。写这些文章的目的比较简单，一是可以当做一个笔记，梳理知识点；二是希望能帮到一些人了解学习大数据。每一篇的篇幅不会太长，阅读时间控制在5到10分钟。我的公众号大叔据，会同步更新。喜欢看公众号文章的同学可以关注下，文章的篇幅不会太长，不会占用你太多的阅读时间，每天花一点时间学习，长期积累总是会有收获的。

作者: 柠檬leung不酸 时间: 2019-9-9 09:03
选择了，便走下去。

作者: 夜听雨 时间: 2019-9-18 15:49
你说 “生命在于不断超越自己”，那来到这里的我已经赢了一半，你还会等我么？

作者: 夜听雨 时间: 2019-9-27 10:22
面对生活的选择，可怕的不是“大环境”，而是我们自己。勇于走出自己的舒适圈，勇于挑战自己，加油……

作者: 柠檬leung不酸 时间: 2019-10-17 09:30
“有人说...学习是为了完善人生，而非享乐人生，追求卓越，成功就会在不经意间追上你……”

作者: 柠檬leung不酸 时间: 2019-11-14 09:44
仔细看看周围的人，始终有那么一些人，坚定地在向前走着，他们变成闪闪发光的存在，总觉得他们就像是神似的存在这世界上，可是我们不知道他们到底用了多少努力，才换来了这样的一个他们想要的人生。

作者: 夜听雨 时间: 2019-11-26 09:09
不要等待机会，而是要创造机会。现在我来了，希望我们都可以坚持，早日用知识达到暴富

作者: 夜听雨 时间: 2019-12-21 15:44
一个人幸运的前提，其实是他有能力改变自己。嗯，来到这里的我们都是幸运的吧？

欢迎光临黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2