第三媒體軟件中心軟件網絡資訊互聯網資訊 → 宋關福: 面對增長的空間數據,GIS的“分布式”戰術 TTL

宋關福: 面對增長的空間數據,GIS的“分布式”戰術

上傳:六翼天使     來源:信息存儲服務     日期:2020-09-14

[摘要]  
   2020 GIS 軟件技術大會主題大會在北京國際會議中心舉行。會上,超圖集團總裁、董事宋關福博士作《分布式GIS與空間區塊鏈技術探索》報告,分享了超圖“BitDC”五大技術體系之分布式GIS技術體系,并介紹了超圖在空間區塊鏈方面的最新探索
 
[正文]    

   9月9日下午,2020 GIS 軟件技術大會主題大會在北京國際會議中心舉行。會上,超圖集團總裁、董事宋關福博士作《分布式GIS與空間區塊鏈技術探索》報告,分享了超圖“BitDC”五大技術體系之分布式GIS技術體系,并介紹了超圖在空間區塊鏈方面的最新探索。

宋關福: 面對增長的空間數據GIS的“分布式”戰術

宋關福在GTC 2020主題大會作報告

   宋關福認為,GIS軟件技術的發展史,就是不斷與膨脹的空間數據戰斗的歷史。2011年-2015年,超圖先后在64位計算、多線程計算、GPU計算等高性能計算技術方面進行了探索,以滿足不斷激增的空間數據處理需求。這一階段,利用單機算力提升GIS性能的集中式GIS是主流

   隨著數據采集技術的不斷進步,新一代測繪與設計數據和空間大數據愈發膨脹,GIS軟件對其存儲、處理和分析面臨巨大挑戰:分析處理性能驟降,基本無法管理類似手機信令的流式空間大數據。超圖在GIS高性能計算上開辟新路徑:從集中式GIS轉向分布式GIS。

   分布式GIS技術是利用多機分布式協同技術和計算資源的橫向擴展能力,完成大量并發請求,或分解完成單一復雜任務的GIS技術。事實上,“分布式GIS”不是新概念,20年前就有學者提出,但一直未有真正商業化產品。

   今天的分布式GIS技術由多項零散的技術演化而成。超圖整合2004年至今的研究成果,構建了分布式GIS技術體系,結構如下:

宋關福: 面對增長的空間數據GIS的“分布式”戰術

分布式GIS技術體系的五大技術

1、邊緣GIS技術

   宋關福用一幅有趣的章魚圖來比喻邊緣GIS技術:章魚只有40%神經元在大腦里,60%分布在八個爪里,所以它的思考是“分布式”的。邊緣GIS技術跟章魚類似,在經典的云和端環境中,分布式的邊緣服務器是對云中心的補充,是一種協同。

   “過去,端直接訪問云中心,會有一定的網絡延時,效率比較低。為了解決這個問題,我們就在靠近端的邊緣地帶部署了邊緣服務器,一些訪問、數據、計算不再直接發往云中心,而是交給邊緣服務器去處理,如有處理不了的,邊緣服務器再發往云中心,如此就可以降低網絡延時,提高響應效率。

   相比帶寬消耗較高、實時性比較差的集中式的云GIS,邊緣GIS在邊緣的地方分解了帶寬的壓力,有著低帶寬消耗、低網絡延時的特點,大大提升了系統響應的速度,整體價值體現為:高性能。”

   SuperMap GIS 10i(2020)新版本中的邊緣服務器,新增支持三維數據分發的工具,包括地形瓦片、S3M瓦片、影像瓦片,可以大幅提升三維服務器的性能。

2、云原生GIS技術

   早在三年前,超圖就發布了云原生GIS技術:原生為云設計、充分發揮云的彈性和分布式優勢的GIS技術,可以讓云更好地發揮作用。微服務、容器化、自動編排、持續交付、DevOps是云原生GIS五要素。

   早期的Web GIS是單體架構,所有操作在一個程序中啟動。微服務化把它拆成若干個模塊,每個模塊都可以單獨部署、單獨啟動。

    容器化部署就是讓微服務的小模塊在不同的機器上協同開展工作。這樣的架構有著細粒度、高彈性、相互獨立、故障隔離的特點,大大提高了可用性。

   在2018年第一次推出微服務后,今年超圖推出了更微的GIS服務:此前,組件和C++內核未解耦分包,現在,組件和C++內核可實現解耦分包。分解得更細致之后,資源消耗更低。如下圖三個指標對比:

宋關福: 面對增長的空間數據GIS的“分布式”戰術

SuperMap iServer微服務資源消耗

   假設單體架構2017為100%,更微的GIS服務出現之后,部署包大小減少至42%,占用內存減少至47%,啟動時間縮減至28%。

   以云原生的云南地質大數據系統為例,系統有著400TB數據、400+服務實例,數據量非常大。如何調度成百上千的服務實例?這就需要應用SuperMap GIS云原生技術,用SuperMap iManager和kubernetes來實現自動化編排,對多個容器自動化運維管理,可以做到負載均衡、服務自愈、彈性伸縮。

   云原生的價值可總結為:高彈性、高可用、高并發。所謂高彈性,就是粒度小了,彈性就高了,當某一個模塊訪問量大的時候,只要重新啟動模塊容器即可;高可用,指的是故障發生的頻率降低,不容易宕機;高并發是指同樣多的計算資源,可以支撐更多的實例運行,并發能力提高。

3、分布式空間分析與處理技術

   分布式空間分析與處理技術是基于Spark并行計算框架,把單一復雜的任務分解成多個子任務,發送到不同的服務器中去協同計算,再把結果匯總起來,這樣可以數量級提升分析處理性能。

宋關福: 面對增長的空間數據GIS的“分布式”戰術

分布式空間分析與處理技術的外延

   SuperMap GIS 10i(2020)新版本中,分布式空間分析與處理技術新增支撐對三維數據的分布式處理,例如地形、影像數據等多元數據,在數據接入、數據處理、服務發布環節,都可以使用分布式的技術來提升性能。

   這其中不得不提支持Web和分布式計算的Geoprocessing,它提供了一種圖示化的、所見即所得的方式,用來構建空間數據分析流程、處理建模,還支持分布式處理算子,可用分布式的算法提高性能。同時,它提供了純Web版本(Web GP),可以與桌面的GP協同。這在國際范圍內是一種創新的嘗試。

   分布式空間分析與處理技術的價值體現為:高性能,即提高分析處理算法的性能,降低時間消耗。

   超圖做了某省土地利用(矢量數據)區域匯總分析的測試,4389萬記錄數據+省區劃面數據,如此大量的數據采用傳統單機方法需要耗時14.5小時,改為6節點的分布式計算模式后,只需要耗時22分鐘,性能提升了40倍。

4、分布式空間數據引擎技術

   分布式空間數據引擎技術,就是利用多機協同的分布式數據存儲技術,突破空間數據庫容量瓶頸。以前數據庫記錄數超過一個億時,性能就急劇下降。這就需要分布式空間數據引擎技術,來提高空間數據存儲管理性能。

宋關福: 面對增長的空間數據GIS的“分布式”戰術

SuperMap分布式空間數據引擎

   SuperMap GIS 10i(2020)新版本中,分布式空間數據引擎技術新增支持分布式三維緩存瓦片存儲。如傾斜攝影建模數據、點云數據等多源數據,可以把三維瓦片數據存放在MongoDB中,以提高緩存讀寫的性能。

     同時,分布式還能賦能三維GIS游戲引擎,“實力派”三維GIS可以為游戲引擎提供大場景三維數據和GIS分析處理能力,“偶像派”游戲引擎可以為三維GIS提供高仿真渲染效果。

   超圖還聯合Unreal Engine、Unity兩大游戲引擎公司,研發了三維GIS插件——超圖三維GIS游戲引擎開發包(SuperMap Scene SDKs 10i(2020) for game engines)。未來的數字孿生,也許就要借助這樣的方式,來實現更好的可視化效果。

   分布式空間數據引擎技術的價值可總結為:大容量和高性能。大容量,就是突破大容量數據的管理;高性能,是指數據大的時候,索引查詢的性能大幅度提高。

5、空間區塊鏈技術

   數據存儲量、性能都很高了,怎么防止別人去篡改數據?這就需要超圖今年新發布的空間區塊鏈(Geo-Blockchain)技術。

   高安全、可追溯、高可信的區塊鏈,是一種特殊的分布式的數據存儲方式,與GIS融合后,就形成了空間區塊鏈,達成了高可信的分布式空間數據庫。空間區塊鏈技術的價值就是:高可信。超圖空間區塊鏈技術框架選擇了擴展性好、流行度高、開源可商用的聯盟鏈Hyperledger Fabric。

   由于空間區塊鏈要解決防篡改的問題,性能比較低,空間消耗比較大,重復存儲要消耗十幾倍的空間消耗,目前還不能做到把所有的空間數據都上鏈,只能把關鍵的、要保護的數據上鏈。如果數據量較大,則需要通過IPFS作為外部存儲來配合上鏈。

宋關福: 面對增長的空間數據GIS的“分布式”戰術

空間區塊鏈技術

   未來的一段時間,空間區塊鏈技術可應用到國土空間規劃與用途管制、不動產登記與交易、自然資源資產與權益管理等自然資源管理相關領域,以及食品、藥品監督與溯源、重要物品物流位置管理、城管執法管理等領域中,帶來新的應用價值。宋關福說,區塊鏈與GIS的結合才剛剛開始,精彩正在展開。

   宋關福總結說,上述五項技術都有著各自的價值。高性能的邊緣GIS技術,高可用、高并發、高彈性的云原生GIS技術,高性能的分布式空間分析與處理技術,大容量、高性能的分布式空間數據引擎技術,高可信的空間區塊鏈技術,它們共同組成了分布式GIS技術體系,所以分布式GIS的價值可以總結為“五高、一大”。這些技術和價值將給地理信息技術和應用創造更多可能。

宋關福: 面對增長的空間數據GIS的“分布式”戰術

分布式GIS的價值“五高、一大”

   會上,超圖正式發布了SuperMap GIS 10i (2020),推出了新的GIS基礎軟件五大技術體系(BitDC),即大數據GIS、人工智能GIS、新一代三維GIS、分布式GIS和跨平臺GIS技術體系,豐富和革新了GIS理論與技術,為各行業信息化賦能更強大的地理智慧。

宋關福: 面對增長的空間數據GIS的“分布式”戰術

SuperMap GIS 2020 五大技術體系(BitDC)

   (新聞稿 2020-09-14)


頻道首頁 】【 評論 】 【 打印 】 【 字體:
   上一篇:全球首創 海爾智家牽頭起草智慧家庭設計國際標準提案
   下一篇:十年同行,SAP Business One助智慧物流企業的轉型之旅
導航:報價 | 大全 | 排行榜 | 產品大全 | 參量 | 訂閱 
 Advertisement
 十大最受關注的新聞
1  大屏電視裝不上? 卡薩帝電視裝得上
2  中興終端亮相2024巴塞展 Better for All全球愿景發布 多款新品推出
3  競自己 戰無懼!ROG官宣代言人周冠宇
4  這個10秒倒計時,海爾智家走了30多年
5  華碩主板: 曬美圖贏豪禮 華碩主板高顏SHOW不停
6  GPTBots:卡片&表單消息,提供更豐富的客服體驗
7  《心靈殺手2》新版本上線 華碩重炮手主板帶你探索未知
8  春節消費不止“熱辣滾燙”,更見“花漾”繁華
9  即將盛啟 宇視科技即將亮相2024 ISLE國際智慧顯示及系統集成展
10  快人一步全速開工 金士頓高速閃存盤
 十大熱門驅動/軟件下載
1  [手機驅動]手機usb萬能
2  [熱門常用軟件]QQ2008正式版下載【騰訊QQ2008官方版Beta1】
3  [熱門常用軟件]E話通下載【E話通4.5 正式版】
4  [手機驅動]Samsung三星 手機USB驅動1.0版For Win98SE/ME/...
5  [手機驅動]Microsoft微軟 ActiveSync同步軟件4.5中文版Fo...
6  [攝像頭驅動]萬能攝像頭 FOR Windows
7  [熱門常用軟件]皮皮播放器下載【PPFilm皮皮播放器 2.1.0....
8  [手機驅動]諾基亞 PC套件下載
9  [熱門常用軟件]面對面游戲下載【面對面視頻游戲大廳】
10  [手機驅動]Microsoft微軟 Windows Mobile Device Center ...
 十大最受關注的品牌
1  三星手機(SAMSUNG)
2  諾基亞手機(NOKIA)
3  華碩筆記本(ASUS)
4  摩托羅拉手機(MOTOROLA)
5  英特爾CPU(Intel)
6  華碩主板(ASUS)
7  LG手機(LG)
8  索愛手機(Sony Ericsson)
9  聯想筆記本(lenovo)
10  宏碁筆記本(acer)
 十大熱門常用軟件下載
1  QQ2008正式版下載【騰訊QQ2008官方版Beta1】
2  E話通下載【E話通4.5 正式版】
3  皮皮播放器下載【PPFilm皮皮播放器 2.1.0.2版】
4  面對面游戲下載【面對面視頻游戲大廳】
5  DVD解碼器下載【NVIDIA DVD Decoder 1.02】
6  迅雷5下載【迅雷5.8.1.507官方版】
7  QQ2007 II正式版下載【騰訊QQ2007官方版本】
8  QQ2006正式版下載【騰訊QQ2006官方版本】
9  聯眾世界游戲大廳下載【聯眾世界2.7.0.8官方版】
10  MTV下載器【MTV下載精靈 8.31版】
11  pplive最新版下載【PPLive網絡電視V1.9.35版】
12  迅雷(Thunder)下載【迅雷v5.7.12.493官方版】
13  騰訊QQ2008下載【騰訊QQ官方版2008極速賀歲版KB1】
14  Total Video Converter下載【Total Video Converter v3.1...
15  QQ拼音輸入法下載【騰訊QQQQ拼音輸入法V1.4.1版】
16  皮皮高清影視播放器下載【PIPIPlayer 2.7.0.3版】
17  eMule下載【電驢eMule官方v0.49a正式版】
18  極點五筆輸入法下載【極點五筆6.1標準版】
19  QQ2009正式版下載【騰訊QQ2009 SP4官方版】
20  Vagaa哇嘎畫時代版下載【哇嘎 2.6.5.10】
   >> 查看評論   
 
   >> 查看更多評論   [共有0條評論]
發表評論
        
        
   點評:
   姓名:  
            字數: 0
     
新聞精選
·GPU之后,NPU再成標配,手機、PC如何承載AI大
·首創技術:維諦作為英偉達NVIDIA獨家制冷合作
·LUMIX生態攝影亮相AWE,全畫幅新品天涯鏡首次
·海爾智家創牌新成果:美國與日本均已第一
·AMIRO覓光王念歐:企業在切實保護消費者權益
·海爾智家:7分鐘全球掠影,30年創牌見證
  ·品質才是王道
·驍龍全新旗艦芯片來了,一大批安卓神機已經在
·第三代驍龍8s平臺,“恰逢其時”的“新生代旗
·人寵關系變了,“家”也變了 戴森寵物清潔配
·持續深耕海外!海爾菲律賓家電節活動促市場增
·生成式AI時代下,這顆驍龍新生代旗艦芯片,有