AI芯天下丨工業(yè)大數(shù)據(jù)挖掘的利器——Spark MLlib

2019-01-28 08:30

一提到大數(shù)據(jù)，人們首先會(huì)想到在互聯(lián)網(wǎng)和商業(yè)等環(huán)境中，利用大量的行為數(shù)據(jù)來分析用戶行為和預(yù)測(cè)市場(chǎng)趨勢(shì)等應(yīng)用。但是對(duì)工業(yè)大數(shù)據(jù)的定義和應(yīng)用卻很難直觀地理解和想象。工業(yè)大數(shù)據(jù)的挑戰(zhàn)和目的則要通過“3B” 和 “3C” 來理解。

工業(yè)大數(shù)據(jù)應(yīng)用的“3B”挑戰(zhàn)：

· Bad Quality——在工業(yè)大數(shù)據(jù)中，數(shù)據(jù)質(zhì)量問題一直是許多企業(yè)所面臨的挑戰(zhàn)。

· Broken——工業(yè)對(duì)于數(shù)據(jù)的要求并不僅在于量的大小，更在于數(shù)據(jù)的全面性。

· Below the Surface——除了對(duì)數(shù)據(jù)所反映出來的表面統(tǒng)計(jì)特征進(jìn)行分析以外，還應(yīng)該關(guān)注數(shù)據(jù)中所隱藏的相關(guān)性。

工業(yè)大數(shù)據(jù)分析的“3C”目的：

· Comparison（比較性）——從比較過程中獲取洞察，既包括比較相似性，也包括比較差異性。

· Correlation （相關(guān)性）——如果說物聯(lián)網(wǎng)是可見世界的連接，那么所連接對(duì)象之間的相關(guān)性就是不可見世界的連接。

· Consequence （因果性）——數(shù)據(jù)分析的重要目的是進(jìn)行決策支持，在制定一個(gè)特定的決策時(shí)，其所帶來的結(jié)果和影響應(yīng)該被同等地分析和預(yù)測(cè)。

為此，我們發(fā)現(xiàn)Spark MLlib是一款非常優(yōu)秀的工業(yè)大數(shù)據(jù)挖掘工具，擁有頂尖的數(shù)據(jù)處理、數(shù)據(jù)挖掘課數(shù)據(jù)可視化，是數(shù)據(jù)從業(yè)者必備的一把利器。Spark是一個(gè)開源集群運(yùn)算框架，擅長(zhǎng)迭代計(jì)算。最初是由加州大學(xué)柏克利分校AMPLab所開發(fā)。Spark使用了內(nèi)存內(nèi)運(yùn)算技術(shù)，在內(nèi)存上的運(yùn)算速度比Hadoop MapReduce的運(yùn)算速度快上100倍，即便是在磁盤上運(yùn)行也能快10倍。Spark允許將數(shù)據(jù)加載至集群內(nèi)存，并多次對(duì)其進(jìn)行查詢，非常適合用于機(jī)器學(xué)習(xí)算法。

Spark MLlib 主要包括以下幾方面的內(nèi)容：

學(xué)習(xí)算法：分類、回歸、聚類和協(xié)同過濾；

特征處理：特征提取、變換、降維和選擇；

管道（Pipeline）：用于構(gòu)建、評(píng)估和調(diào)整機(jī)器學(xué)習(xí)管道的工具；

持久性：保存和加載算法，模型和管道；

實(shí)用工具：線性代數(shù)，統(tǒng)計(jì)，最優(yōu)化，調(diào)參等工具。

AI芯天下丨工業(yè)大數(shù)據(jù)挖掘的利器——Spark MLlib

上表總結(jié)了 Spark MLlib 支持的功能結(jié)構(gòu)，可以看出Spark MLlib是一種高效、快速、可擴(kuò)展的分布式計(jì)算框架；實(shí)現(xiàn)了常用的機(jī)器學(xué)習(xí)，如：聚類、分類、回歸等算法。

大數(shù)據(jù)能夠帶來巨大的商業(yè)價(jià)值已經(jīng)毋庸置疑，各行各業(yè)均已開展了一場(chǎng)無形的較量，數(shù)據(jù)提供商、服務(wù)提供商都想在這片藍(lán)海強(qiáng)占先機(jī)。而目前，Spark已經(jīng)成為了現(xiàn)在大數(shù)據(jù)領(lǐng)域最火的開源軟件，Spark也被許多企業(yè)尤其是互聯(lián)網(wǎng)企業(yè)廣泛應(yīng)用到商業(yè)項(xiàng)目中，在國(guó)內(nèi)包括阿里、百度、騰訊、網(wǎng)易、搜狐等。