大數(shù)據(jù)是現(xiàn)在非常熱門的一種技術,學好了大數(shù)據(jù)也就意味著進入了有前景的IT行業(yè)。但大數(shù)據(jù)的內容太多了,對于眾多初學者來說都不知道從哪入手。這就是小編寫這篇文章的原因。本文將為您提供一條學習大數(shù)據(jù)的道路,幫助您盡快步入大數(shù)據(jù)領域。
大數(shù)據(jù)領域的技術涵蓋了Linux操作系統(tǒng)、Hadoop、Hive、HBase、Zookeeper、Kafka、Scala、Spark、Flink等等。這么多的技術,我們從哪開始學起呢?這主要看我們對自己的定位是什么樣的。
大數(shù)據(jù)行業(yè)細分了很多角色,但大體上分成了大數(shù)據(jù)工程師和大數(shù)據(jù)分析師。
大數(shù)據(jù)工程師的主要工作是海量數(shù)據(jù)的收集和存儲,建立和維護大數(shù)據(jù)體系結構,集群的安裝配置和維護。這些工作是進行大數(shù)據(jù)分析的前提和基礎。大數(shù)據(jù)分析師則是在上面數(shù)據(jù)的基礎上,運用統(tǒng)計方法和數(shù)據(jù)挖掘算法,找出數(shù)據(jù)之間的關系,為企業(yè)領導者提供有力的決策支撐。
現(xiàn)在,您已經了解了大數(shù)據(jù)行業(yè),以及大數(shù)據(jù)行業(yè)不同角色的職責要求。讓我們來看看要進入大數(shù)據(jù)行業(yè),您應該走什么樣的道路。
首先,您要熟悉linux和shell腳本。這是處理大數(shù)據(jù)的基本要求。
其次,我們必須掌握一門編程語言。大數(shù)據(jù)技術大多是用Java或Scala編寫的。但是您可能對著兩種語言都不熟悉。不要擔心,除了Java和Scala,您還可以選擇Python或者R語言,因為現(xiàn)在大多數(shù)大數(shù)據(jù)技術都廣泛支持Python和R。因此,您可以從上面提到的任何一種語言開始。如果讓我給出建議,我建議選擇Java或Python。
再者,您需要了解分布式文件系統(tǒng),F(xiàn)今流行的分布式文件系統(tǒng)是Hadoop分布式文件系統(tǒng)。
上面這三點是每個大數(shù)據(jù)工程師都必須要掌握的。
接下來,是您決定是使用數(shù)據(jù)流還是離線大量數(shù)據(jù)的時候了。
假設您決定使用數(shù)據(jù)流來開發(fā)實時或接近實時的分析系統(tǒng)。那么Spark Streaming或Flink將是我們的首選。在實時數(shù)據(jù)處理領域,這兩個都各有千秋。
如果您處理的是離線數(shù)據(jù),Spark Core和Spark SQL將是我們的首選,不論是結構化數(shù)據(jù)還是非結構化數(shù)據(jù),Spark都可以輕松應對。并且相比較傳統(tǒng)的MapReduce速度快了大約100倍。
>>本文地址:http://nfbqydst.cn/zhuanye/2019/48145.html
聲明:本站稿件版權均屬中公教育優(yōu)就業(yè)所有,未經許可不得擅自轉載。
1 您的年齡
2 您的學歷
3 您更想做哪個方向的工作?