第三媒體軟件中心軟件網絡資訊互聯網資訊 → 華為云: 破解數據囤積,華為云智能數據湖技術解密 TTL

華為云: 破解數據囤積,華為云智能數據湖技術解密

上傳:xiaojike     來源:信息存儲服務     日期:2018-11-8

[摘要]  
   當數據水庫中的數據不再有用時,就直接丟棄它。沒有必要把某個特別的應用程序生成的所有數據都存儲下來。以物聯網為例,傳感器會產生奇大無比的數據量,但大多數時候其實我們只是在意一些極端值而已,比如溫度超出了某個閾值范圍。下圖為某物聯網公司的業務示意圖
 
[正文]    

   如果有人問數據湖是什么,我會告訴他們,是“桶裝水”的集合。

   隨著企業業務的發展,數據出現井噴,數據量呈幾何增長,數據來源和類型更加多元化。傳統數據倉庫就如同“桶裝水商店”,已經承載不了全部水體,因此需要一個可以滿足存儲需求的,新的架構作為大數據的支撐。

   這就是數據湖。它匯聚不同數據源的溪流,包括大量無序的非結構化數據(文本、圖像、聲音、網頁等)。我們把它倒入數據湖,然后開始探索該數據。我們希望這是一個包含所有數據的,一個超快、易于訪問的存儲庫,能解決集成難題的終極方法。

   但實際上,存儲庫反而變成了一個緩慢、僵化的數據沼澤。大數據需要特殊的專長來分析數據。使用原始數據得出分析結論,將持續在數據質量和治理方面發出危險信號。業內給這種問題起了個名字,叫數據囤積障礙。

爆炸式增長的數據及數據孤島

   你應該明白了。只為了保存數據而存儲數據,不是一個好主意。我們應該有一個明確的使用目的,然后只向數據供應鏈中導入相關的數據。當數據水庫中的數據不再有用時,就直接丟棄它。沒有必要把某個特別的應用程序生成的所有數據都存儲下來。以物聯網為例,傳感器會產生奇大無比的數據量,但大多數時候其實我們只是在意一些極端值而已,比如溫度超出了某個閾值范圍。下圖為某物聯網公司的業務示意圖。

首當其沖的挑戰便是,數據存儲、數據處理、AI組件眾多。處理難度極大。

緊接著,數據孤島問題接踵而至。

   多種數據源,每種數據單獨在一個庫中,業務人員需要在應用層做數據集成/數據搬移,技能要求高,工程耗時長。

   數據量日益增大,數據源日益增多,單個庫擴容困難,性能下降,成本高,難以做跨市跨省等全量數據分析。

   缺乏高級分析工具,前沿技術,如機器學習、圖計算、深度學習等,未能充分利用多種數據深入挖掘價值。

用智能解決非智能

   鑒于數據湖現狀,我們如何利用它們為企業帶來優勢?這里是智能數據湖整體解決方案,包含四個關鍵的實踐:融合,高效,易用,智能

融合——云化的hadoop

   統一數據存儲,再無數據孤島;開放格式,豐富的數據類型:JSON, CSV, AVRO,圖片,視頻等;開放接口,兼容原生社區應用:100%兼容OBS和HDFS接口,總而言之,我們在數據湖中處理數據,試圖找到新的洞察力。我們不會,任由數據處于最原始的格式,我們將優化數據。確保數據得到治理,確保數據在語義上一致,并滿足業務的要求。

高效

一個字:快。實時數據實時分析, Apache CarbonData加速,萬億數據秒級響應

易用

   做一個一站式、端到端開發工具,支持大數據+AI敏捷開發。可視化,代表豐富的可視化組件,圖形化編輯界面,同時支持定制;而數據湖一站式開發工具,可管理多種大數據服務,實現跨服務作業編排調度;支持拖拉拽,預設10多種任務類型。

   最后,對于數據標準,數據質量,數據安全的治理不可或缺。

數據湖治理:一站式治理平臺(數據標準,數據質量,數據安全)

智能

   重點絕不僅僅是數據,而是始終關于你要做什么工作。使用場合是什么,你可以運用什么應用程序來處理該數據以便從中受益——用智能實現高效。

智能元數據采集,統一數據視圖

智能數據管理,無需人工拷貝

智能優化建議,免DBA


   對數據進行“聯系”,而不是“收集”。相比將數據轉移到越來越大的集群或數據倉庫,讓數據待在數據湖進行智能化處理,來得更省錢、更容易也更高效。

   如果想先試試效果,無論是企業用戶,還是個人用戶,華為云均提供了一組免費套餐,最高可免費試用60天,與此同時,華為云數據湖工廠(Data Lake Factory)2018年12月31日前提供免費試用,名額有限。

   更多詳細內容,歡迎訪問:華為云官網 EI企業智能 EI大數據 數據湖工廠DLF

   (新聞稿 2018-11-08)


頻道首頁 】【 評論 】 【 打印 】 【 字體:
   上一篇:人工智能牽手物聯網 烏鎮互聯網大會AI+IoT成未來風口
   下一篇:科幻巨制來襲 3D科幻舞臺劇《三體Ⅱ黑暗森林》發布
導航:報價 | 大全 | 排行榜 | 產品大全 | 參量 | 訂閱 
 Advertisement
 十大最受關注的新聞
1  疾速響應爭分奪秒 華碩商用PU404為你爭得時間自由
2  Coremail發布H5郵箱移動模板新版本,多項新功能更便捷
3  Coremail: 新型勒索郵件出現,CAC安全中心威脅提示
4  金獅視頻播放器: 加密視頻播放無煩惱 金獅視頻播放器
5  聯想揚天臺式機全系升級上市,全芯升級定有所為
6  化繁為簡只為深度滋潤 智米加濕器小米有品199元首發
7  ROG手機: 專業玩家眼中的蛟龍 ROG游戲手機黑科技爆棚
8  八代酷睿實力飆升 華碩商用微邊框靈瓏筆記本疾速體驗
9  年末鉅惠強勢來襲,華碩Flare耀光鍵盤雙12直降110元!
10  榮耀首款智能音箱發布倒計時,產品真容首次披露
 十大熱門驅動/軟件下載
1  [手機驅動]手機usb萬能
2  [熱門常用軟件]QQ2008正式版下載【騰訊QQ2008官方版Beta1】
3  [熱門常用軟件]E話通下載【E話通4.5 正式版】
4  [手機驅動]Samsung三星 手機USB驅動1.0版For Win98SE/ME/...
5  [手機驅動]Microsoft微軟 ActiveSync同步軟件4.5中文版Fo...
6  [攝像頭驅動]萬能攝像頭 FOR Windows
7  [熱門常用軟件]皮皮播放器下載【PPFilm皮皮播放器 2.1.0....
8  [手機驅動]諾基亞 PC套件下載
9  [熱門常用軟件]面對面游戲下載【面對面視頻游戲大廳】
10  [手機驅動]Microsoft微軟 Windows Mobile Device Center ...
 十大最受關注的品牌
1  三星手機(SAMSUNG)
2  諾基亞手機(NOKIA)
3  華碩筆記本(ASUS)
4  摩托羅拉手機(MOTOROLA)
5  英特爾CPU(Intel)
6  華碩主板(ASUS)
7  LG手機(LG)
8  索愛手機(Sony Ericsson)
9  聯想筆記本(lenovo)
10  宏碁筆記本(acer)
 十大熱門常用軟件下載
1  QQ2008正式版下載【騰訊QQ2008官方版Beta1】
2  E話通下載【E話通4.5 正式版】
3  皮皮播放器下載【PPFilm皮皮播放器 2.1.0.2版】
4  面對面游戲下載【面對面視頻游戲大廳】
5  DVD解碼器下載【NVIDIA DVD Decoder 1.02】
6  迅雷5下載【迅雷5.8.1.507官方版】
7  QQ2007 II正式版下載【騰訊QQ2007官方版本】
8  QQ2006正式版下載【騰訊QQ2006官方版本】
9  聯眾世界游戲大廳下載【聯眾世界2.7.0.8官方版】
10  MTV下載器【MTV下載精靈 8.31版】
11  pplive最新版下載【PPLive網絡電視V1.9.35版】
12  迅雷(Thunder)下載【迅雷v5.7.12.493官方版】
13  騰訊QQ2008下載【騰訊QQ官方版2008極速賀歲版KB1】
14  Total Video Converter下載【Total Video Converter v3.1...
15  QQ拼音輸入法下載【騰訊QQQQ拼音輸入法V1.4.1版】
16  皮皮高清影視播放器下載【PIPIPlayer 2.7.0.3版】
17  eMule下載【電驢eMule官方v0.49a正式版】
18  極點五筆輸入法下載【極點五筆6.1標準版】
19  QQ2009正式版下載【騰訊QQ2009 SP4官方版】
20  Vagaa哇嘎畫時代版下載【哇嘎 2.6.5.10】
   >> 查看評論   
 
   >> 查看更多評論   [共有0條評論]
發表評論
        
        
   點評:
   姓名:  
            字數: 0
     
新聞精選
·怎么在手機上錄屏?手機屏幕錄制技巧
·文件誤刪除如何恢復? 辦公文件丟失恢復技巧
·真正的AR亮風臺AR 云助力打造爆款手機照片打
·多點開花實力綻放 7invensun眼球追蹤技術引燃
·中國(小谷圍)人工智能創新創業大賽 成功舉辦
·Coremail論客與清華大學深圳研究生院簽署聯合
  ·數據中心如何利舊和升級,大唐地產的超融合之
·福晟生活獲2018中國科技領先特色物業企業獎
·筑夢在雄安,優易數據當選“高創聯盟”副理事
·鯨打卡參展2019微信公開課PRO 引領教育小程序
·天翼云與用友獨家戰略簽約 攜手共創企業數字
·19支研究團隊獲螞蟻金服“2018安全專項科研基