大數據_大數據概念_解決方案_分析工具

一、大數據概念

　　“大數據”是一個(gè)體量特別大，數據類(lèi)別特別大的數據集，并且這樣的數據集無(wú)法用傳統數據庫工具對其內容進(jìn)行抓取、管理和處理。智慧城市的核心“大數據”“大數據”首先是指數據體量大，指代大型數據集，一般在10TB?規模左右，但在實(shí)際應用中，很多企業(yè)用戶(hù)把多個(gè)數據集放在一起，已經(jīng)形成了PB級的數據量;其次是指數據類(lèi)別(variety)大，數據來(lái)自多種數據源，數據種類(lèi)和格式日漸豐富，已沖破了以前所限定的結構化數據范疇，囊括了半結構化和非結構化數據。接著(zhù)是數據處理速度(Velocity)快，在數據量非常龐大的情況下，也能夠做到數據的實(shí)時(shí)處理。最后一個(gè)特點(diǎn)是指數據真實(shí)性(Veracity)高，隨著(zhù)社交數據、企業(yè)內容、交易與應用數據等新數據源的興趣，傳統數據源的局限被打破，企業(yè)愈發(fā)需要有效的信息之力以確保其真實(shí)性及安全性。

　　二、大數據解決方案

　　大數據需要有不同于傳統的技術(shù)，以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內的數據。適用于大數據的技術(shù) ，包括大規模并行處理(MPP)數據庫，數據挖掘電網(wǎng)，分布式文件系統，分布式數據庫，云計算平臺 ，互聯(lián)網(wǎng)時(shí)代的大數據，和可擴展的存儲系統。

　　大數據解決方案，通常都是基于集群的物理設施平臺上，通過(guò)分布式處理系統來(lái)實(shí)現對海量數據的處理和分析。也正是如此，這種解決方案更多的是側重于軟硬一體或者分布式的軟件系統平臺來(lái)實(shí)現。

　　在大數據解決方案中，最為常見(jiàn)的當屬Hadoop。Hadoop 是一個(gè)能夠對大量數據進(jìn)行分布式處理的軟件 框架。Hadoop項目包括三部分，分別是Hadoop Distributed File System(HDFS)、HadoopMapReduce 編程模型，以及Hadoop Common。

　　英特爾：作為與Linux具有一樣都具有革命性意義的Hadoop，英特爾還推出了基于該平臺的發(fā)行版(包括免費發(fā)行版)，以幫助用戶(hù)更輕松地構建架構和使用分布式計算平臺，開(kāi)發(fā)和處理海量數據。

　　在英特爾所提出的大數據方案之中，至強處理器將為大數據分析提供原動(dòng)力。英特爾還展示了其即將發(fā)行的Hadoop發(fā)行版——Intel Hadoop Manager 2.0。英特爾的Hadoop發(fā)行版著(zhù)重對英特爾平臺上的Hadoop進(jìn)行了優(yōu)化，企業(yè)可即時(shí)實(shí)施，安裝、配置都非常簡(jiǎn)單。

　　微軟：為幫助企業(yè)快速采用其大數據解決方案，微軟將在 Microsoft Windows Azure平臺上提供基于云端的Hadoop服務(wù)，同時(shí)在 Windows Server 上提供基于本地的 Hadoop 版本。 Hadoop 的豐富洞察可以與 Microsoft Business Intelligence (BI) 平臺無(wú)縫結合，使客戶(hù)能夠借助Office和SharePoint以及公用的數據和服務(wù)來(lái)豐富他們的模型。

　　三、大數據分析工具

　　大數據分析是指對規模巨大的數據進(jìn)行分析。大數據可以概括為4個(gè)V， 數據量大(Volume)、速度快(Velocity)、類(lèi)型多(Variety)、真實(shí)性(Veracity)。大數據作為時(shí)下最火熱的IT行業(yè)的詞匯，隨之而來(lái)的數據倉庫、數據安全、數據分析、數據挖掘等等圍繞大數據的商業(yè)價(jià)值的利用逐漸成為行業(yè)人士爭相追捧的利潤焦點(diǎn)。隨著(zhù)大數據時(shí)代的來(lái)臨，大數據分析也應運而生。

　　1、前端展現，用于展現分析的前端開(kāi)源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

　　用于展現分析商用分析工具有Style Intelligence、Cognos, BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau 。

　　國內的有國云數據(大數據魔鏡)，FineBI等等。

　　2、數據倉庫有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

　　3、數據集市有QlikView、 Tableau 、Style Intelligence等等。