第三媒體軟件中心軟件網絡資訊互聯網資訊 → 華為云: 破解數據囤積,華為云智能數據湖技術解密 TTL

華為云: 破解數據囤積,華為云智能數據湖技術解密

上傳:xiaojike     來源:信息存儲服務     日期:2018-11-8

[摘要]  
   當數據水庫中的數據不再有用時,就直接丟棄它。沒有必要把某個特別的應用程序生成的所有數據都存儲下來。以物聯網為例,傳感器會產生奇大無比的數據量,但大多數時候其實我們只是在意一些極端值而已,比如溫度超出了某個閾值范圍。下圖為某物聯網公司的業務示意圖
 
[正文]    

   如果有人問數據湖是什么,我會告訴他們,是“桶裝水”的集合。

   隨著企業業務的發展,數據出現井噴,數據量呈幾何增長,數據來源和類型更加多元化。傳統數據倉庫就如同“桶裝水商店”,已經承載不了全部水體,因此需要一個可以滿足存儲需求的,新的架構作為大數據的支撐。

   這就是數據湖。它匯聚不同數據源的溪流,包括大量無序的非結構化數據(文本、圖像、聲音、網頁等)。我們把它倒入數據湖,然后開始探索該數據。我們希望這是一個包含所有數據的,一個超快、易于訪問的存儲庫,能解決集成難題的終極方法。

   但實際上,存儲庫反而變成了一個緩慢、僵化的數據沼澤。大數據需要特殊的專長來分析數據。使用原始數據得出分析結論,將持續在數據質量和治理方面發出危險信號。業內給這種問題起了個名字,叫數據囤積障礙。

爆炸式增長的數據及數據孤島

   你應該明白了。只為了保存數據而存儲數據,不是一個好主意。我們應該有一個明確的使用目的,然后只向數據供應鏈中導入相關的數據。當數據水庫中的數據不再有用時,就直接丟棄它。沒有必要把某個特別的應用程序生成的所有數據都存儲下來。以物聯網為例,傳感器會產生奇大無比的數據量,但大多數時候其實我們只是在意一些極端值而已,比如溫度超出了某個閾值范圍。下圖為某物聯網公司的業務示意圖。

首當其沖的挑戰便是,數據存儲、數據處理、AI組件眾多。處理難度極大。

緊接著,數據孤島問題接踵而至。

   多種數據源,每種數據單獨在一個庫中,業務人員需要在應用層做數據集成/數據搬移,技能要求高,工程耗時長。

   數據量日益增大,數據源日益增多,單個庫擴容困難,性能下降,成本高,難以做跨市跨省等全量數據分析。

   缺乏高級分析工具,前沿技術,如機器學習、圖計算、深度學習等,未能充分利用多種數據深入挖掘價值。

用智能解決非智能

   鑒于數據湖現狀,我們如何利用它們為企業帶來優勢?這里是智能數據湖整體解決方案,包含四個關鍵的實踐:融合,高效,易用,智能

融合——云化的hadoop

   統一數據存儲,再無數據孤島;開放格式,豐富的數據類型:JSON, CSV, AVRO,圖片,視頻等;開放接口,兼容原生社區應用:100%兼容OBS和HDFS接口,總而言之,我們在數據湖中處理數據,試圖找到新的洞察力。我們不會,任由數據處于最原始的格式,我們將優化數據。確保數據得到治理,確保數據在語義上一致,并滿足業務的要求。

高效

一個字:快。實時數據實時分析, Apache CarbonData加速,萬億數據秒級響應

易用

   做一個一站式、端到端開發工具,支持大數據+AI敏捷開發。可視化,代表豐富的可視化組件,圖形化編輯界面,同時支持定制;而數據湖一站式開發工具,可管理多種大數據服務,實現跨服務作業編排調度;支持拖拉拽,預設10多種任務類型。

   最后,對于數據標準,數據質量,數據安全的治理不可或缺。

數據湖治理:一站式治理平臺(數據標準,數據質量,數據安全)

智能

   重點絕不僅僅是數據,而是始終關于你要做什么工作。使用場合是什么,你可以運用什么應用程序來處理該數據以便從中受益——用智能實現高效。

智能元數據采集,統一數據視圖

智能數據管理,無需人工拷貝

智能優化建議,免DBA


   對數據進行“聯系”,而不是“收集”。相比將數據轉移到越來越大的集群或數據倉庫,讓數據待在數據湖進行智能化處理,來得更省錢、更容易也更高效。

   如果想先試試效果,無論是企業用戶,還是個人用戶,華為云均提供了一組免費套餐,最高可免費試用60天,與此同時,華為云數據湖工廠(Data Lake Factory)2018年12月31日前提供免費試用,名額有限。

   更多詳細內容,歡迎訪問:華為云官網 EI企業智能 EI大數據 數據湖工廠DLF

   (新聞稿 2018-11-08)


頻道首頁 】【 評論 】 【 打印 】 【 字體:
   上一篇:人工智能牽手物聯網 烏鎮互聯網大會AI+IoT成未來風口
   下一篇:科幻巨制來襲 3D科幻舞臺劇《三體Ⅱ黑暗森林》發布
導航:報價 | 大全 | 排行榜 | 產品大全 | 參量 | 訂閱 
 Advertisement
 十大最受關注的新聞
1  蘇寧極物智能云鎖開啟預約,下單加贈蘇寧小Biu音箱
2  空氣持久清新!蘇寧極物小新智能新風機火熱開售
3  2018蘇州電博會: 科達以AI視界 ,創智企未來!
4  絕地求生PGL全球邀請賽 樂橙娛樂點評中國四強!
5  優音通信牽手中國人壽天津分公司 ,互利共贏!
6  華碩: 游戲黨變畫面黨 華碩飛行堡壘6顛覆游戲體驗
7  雙11十周年開啟新精彩,飛利浦顯示器打造便捷桌面視界
8  天生不凡,華碩ROG STRIX FUSION 700詮釋全新7.1耳機
9  年度盛會《游戲開發者大會(GDC)》,現在就加入!!!
10  RAZER發布便攜手柄與降噪耳機 移動娛樂體驗新升級
 十大熱門驅動/軟件下載
1  [手機驅動]手機usb萬能
2  [熱門常用軟件]QQ2008正式版下載【騰訊QQ2008官方版Beta1】
3  [熱門常用軟件]E話通下載【E話通4.5 正式版】
4  [手機驅動]Samsung三星 手機USB驅動1.0版For Win98SE/ME/...
5  [手機驅動]Microsoft微軟 ActiveSync同步軟件4.5中文版Fo...
6  [攝像頭驅動]萬能攝像頭 FOR Windows
7  [熱門常用軟件]皮皮播放器下載【PPFilm皮皮播放器 2.1.0....
8  [手機驅動]諾基亞 PC套件下載
9  [熱門常用軟件]面對面游戲下載【面對面視頻游戲大廳】
10  [手機驅動]Microsoft微軟 Windows Mobile Device Center ...
 十大最受關注的品牌
1  三星手機(SAMSUNG)
2  諾基亞手機(NOKIA)
3  華碩筆記本(ASUS)
4  摩托羅拉手機(MOTOROLA)
5  英特爾CPU(Intel)
6  華碩主板(ASUS)
7  LG手機(LG)
8  索愛手機(Sony Ericsson)
9  聯想筆記本(lenovo)
10  宏碁筆記本(acer)
 十大熱門常用軟件下載
1  QQ2008正式版下載【騰訊QQ2008官方版Beta1】
2  E話通下載【E話通4.5 正式版】
3  皮皮播放器下載【PPFilm皮皮播放器 2.1.0.2版】
4  面對面游戲下載【面對面視頻游戲大廳】
5  DVD解碼器下載【NVIDIA DVD Decoder 1.02】
6  迅雷5下載【迅雷5.8.1.507官方版】
7  QQ2007 II正式版下載【騰訊QQ2007官方版本】
8  QQ2006正式版下載【騰訊QQ2006官方版本】
9  聯眾世界游戲大廳下載【聯眾世界2.7.0.8官方版】
10  MTV下載器【MTV下載精靈 8.31版】
11  pplive最新版下載【PPLive網絡電視V1.9.35版】
12  迅雷(Thunder)下載【迅雷v5.7.12.493官方版】
13  騰訊QQ2008下載【騰訊QQ官方版2008極速賀歲版KB1】
14  Total Video Converter下載【Total Video Converter v3.1...
15  QQ拼音輸入法下載【騰訊QQQQ拼音輸入法V1.4.1版】
16  皮皮高清影視播放器下載【PIPIPlayer 2.7.0.3版】
17  eMule下載【電驢eMule官方v0.49a正式版】
18  極點五筆輸入法下載【極點五筆6.1標準版】
19  QQ2009正式版下載【騰訊QQ2009 SP4官方版】
20  Vagaa哇嘎畫時代版下載【哇嘎 2.6.5.10】
   >> 查看評論   
 
   >> 查看更多評論   [共有0條評論]
發表評論
        
        
   點評:
   姓名:  
            字數: 0
     
新聞精選
·Coremail郵件系統,校園郵件系統安全解決方案
·通策醫療借力“眾安鏈” 我的數據我做主
·阿里巴巴人工智能實驗室 推“黑科技”概念產
·中國郵件系統行業市場分析新鮮出爐,Coremail
·頭戴的巨幕私人影院,iQUT愛奇藝奇遇 Ⅱ 4K V
·雙十一大戰一觸即發 天翼云助力跨越速運彎道
  ·換季穿搭,Garmin Vivomove HR為你打造摩登時
·順逛首創智家場景成套定制 引領消費升級新體
·胡潤發2018三季度獨角獸指數 AI領域云從科技
·喜訊! 易港金融行政核查進場階段已圓滿完成
·連續三年倍增 德施曼獲分享投資、好太太等億
·億企德小程序及億推AI智能名片 全國招商活動