大數據_大數據概念_解決方案_分析工具

一、大數據概念

　　“大數據”是一個體量特別大，數據類別特別大的數據集，并且這樣的數據集無法用傳統數據庫工具對其內容進行抓取、管理和處理。智慧城市的核心“大數據”“大數據”首先是指數據體量大，指代大型數據集，一般在10TB?規模左右，但在實際應用中，很多企業用戶把多個數據集放在一起，已經形成了PB級的數據量;其次是指數據類別(variety)大，數據來自多種數據源，數據種類和格式日漸豐富，已沖破了以前所限定的結構化數據范疇，囊括了半結構化和非結構化數據。接著是數據處理速度(Velocity)快，在數據量非常龐大的情況下，也能夠做到數據的實時處理。最后一個特點是指數據真實性(Veracity)高，隨著社交數據、企業內容、交易與應用數據等新數據源的興趣，傳統數據源的局限被打破，企業愈發需要有效的信息之力以確保其真實性及安全性。

　　二、大數據解決方案

　　大數據需要有不同于傳統的技術，以有效地處理大量的容忍經過時間內的數據。適用于大數據的技術 ，包括大規模并行處理(MPP)數據庫，數據挖掘電網，分布式文件系統，分布式數據庫，云計算平臺 ，互聯網時代的大數據，和可擴展的存儲系統。

　　大數據解決方案，通常都是基于集群的物理設施平臺上，通過分布式處理系統來實現對海量數據的處理和分析。也正是如此，這種解決方案更多的是側重于軟硬一體或者分布式的軟件系統平臺來實現。

　　在大數據解決方案中，最為常見的當屬Hadoop。Hadoop 是一個能夠對大量數據進行分布式處理的軟件 框架。Hadoop項目包括三部分，分別是Hadoop Distributed File System(HDFS)、HadoopMapReduce 編程模型，以及Hadoop Common。

　　英特爾：作為與Linux具有一樣都具有革命性意義的Hadoop，英特爾還推出了基于該平臺的發行版(包括免費發行版)，以幫助用戶更輕松地構建架構和使用分布式計算平臺，開發和處理海量數據。

　　在英特爾所提出的大數據方案之中，至強處理器將為大數據分析提供原動力。英特爾還展示了其即將發行的Hadoop發行版——Intel Hadoop Manager 2.0。英特爾的Hadoop發行版著重對英特爾平臺上的Hadoop進行了優化，企業可即時實施，安裝、配置都非常簡單。

　　微軟：為幫助企業快速采用其大數據解決方案，微軟將在 Microsoft Windows Azure平臺上提供基于云端的Hadoop服務，同時在 Windows Server 上提供基于本地的 Hadoop 版本。 Hadoop 的豐富洞察可以與 Microsoft Business Intelligence (BI) 平臺無縫結合，使客戶能夠借助Office和SharePoint以及公用的數據和服務來豐富他們的模型。

　　三、大數據分析工具

　　大數據分析是指對規模巨大的數據進行分析。大數據可以概括為4個V， 數據量大(Volume)、速度快(Velocity)、類型多(Variety)、真實性(Veracity)。大數據作為時下最火熱的IT行業的詞匯，隨之而來的數據倉庫、數據安全、數據分析、數據挖掘等等圍繞大數據的商業價值的利用逐漸成為行業人士爭相追捧的利潤焦點。隨著大數據時代的來臨，大數據分析也應運而生。

　　1、前端展現，用于展現分析的前端開源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

　　用于展現分析商用分析工具有Style Intelligence、Cognos, BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau 。

　　國內的有國云數據(大數據魔鏡)，FineBI等等。

　　2、數據倉庫有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

　　3、數據集市有QlikView、 Tableau 、Style Intelligence等等。