9月9日下午,2020 GIS 軟件技術大會主題大會在北京國際會議中心舉行。會上,超圖集團總裁、董事宋關福博士作《分布式GIS與空間區塊鏈技術探索》報告,分享了超圖“BitDC”五大技術體系之分布式GIS技術體系,并介紹了超圖在空間區塊鏈方面的最新探索。
宋關福在GTC 2020主題大會作報告
宋關福認為,GIS軟件技術的發展史,就是不斷與膨脹的空間數據戰斗的歷史。2011年-2015年,超圖先后在64位計算、多線程計算、GPU計算等高性能計算技術方面進行了探索,以滿足不斷激增的空間數據處理需求。這一階段,利用單機算力提升GIS性能的集中式GIS是主流。
隨著數據采集技術的不斷進步,新一代測繪與設計數據和空間大數據愈發膨脹,GIS軟件對其存儲、處理和分析面臨巨大挑戰:分析處理性能驟降,基本無法管理類似手機信令的流式空間大數據。超圖在GIS高性能計算上開辟新路徑:從集中式GIS轉向分布式GIS。
分布式GIS技術是利用多機分布式協同技術和計算資源的橫向擴展能力,完成大量并發請求,或分解完成單一復雜任務的GIS技術。事實上,“分布式GIS”不是新概念,20年前就有學者提出,但一直未有真正商業化產品。
今天的分布式GIS技術由多項零散的技術演化而成。超圖整合2004年至今的研究成果,構建了分布式GIS技術體系,結構如下:
分布式GIS技術體系的五大技術
1、邊緣GIS技術
宋關福用一幅有趣的章魚圖來比喻邊緣GIS技術:章魚只有40%神經元在大腦里,60%分布在八個爪里,所以它的思考是“分布式”的。邊緣GIS技術跟章魚類似,在經典的云和端環境中,分布式的邊緣服務器是對云中心的補充,是一種協同。
“過去,端直接訪問云中心,會有一定的網絡延時,效率比較低。為了解決這個問題,我們就在靠近端的邊緣地帶部署了邊緣服務器,一些訪問、數據、計算不再直接發往云中心,而是交給邊緣服務器去處理,如有處理不了的,邊緣服務器再發往云中心,如此就可以降低網絡延時,提高響應效率。
相比帶寬消耗較高、實時性比較差的集中式的云GIS,邊緣GIS在邊緣的地方分解了帶寬的壓力,有著低帶寬消耗、低網絡延時的特點,大大提升了系統響應的速度,整體價值體現為:高性能。”
SuperMap GIS 10i(2020)新版本中的邊緣服務器,新增支持三維數據分發的工具,包括地形瓦片、S3M瓦片、影像瓦片,可以大幅提升三維服務器的性能。
2、云原生GIS技術
早在三年前,超圖就發布了云原生GIS技術:原生為云設計、充分發揮云的彈性和分布式優勢的GIS技術,可以讓云更好地發揮作用。微服務、容器化、自動編排、持續交付、DevOps是云原生GIS五要素。
早期的Web GIS是單體架構,所有操作在一個程序中啟動。微服務化把它拆成若干個模塊,每個模塊都可以單獨部署、單獨啟動。
容器化部署就是讓微服務的小模塊在不同的機器上協同開展工作。這樣的架構有著細粒度、高彈性、相互獨立、故障隔離的特點,大大提高了可用性。
在2018年第一次推出微服務后,今年超圖推出了更微的GIS服務:此前,組件和C++內核未解耦分包,現在,組件和C++內核可實現解耦分包。分解得更細致之后,資源消耗更低。如下圖三個指標對比:
SuperMap iServer微服務資源消耗
假設單體架構2017為100%,更微的GIS服務出現之后,部署包大小減少至42%,占用內存減少至47%,啟動時間縮減至28%。
以云原生的云南地質大數據系統為例,系統有著400TB數據、400+服務實例,數據量非常大。如何調度成百上千的服務實例?這就需要應用SuperMap GIS云原生技術,用SuperMap iManager和kubernetes來實現自動化編排,對多個容器自動化運維管理,可以做到負載均衡、服務自愈、彈性伸縮。
云原生的價值可總結為:高彈性、高可用、高并發。所謂高彈性,就是粒度小了,彈性就高了,當某一個模塊訪問量大的時候,只要重新啟動模塊容器即可;高可用,指的是故障發生的頻率降低,不容易宕機;高并發是指同樣多的計算資源,可以支撐更多的實例運行,并發能力提高。
3、分布式空間分析與處理技術
分布式空間分析與處理技術是基于Spark并行計算框架,把單一復雜的任務分解成多個子任務,發送到不同的服務器中去協同計算,再把結果匯總起來,這樣可以數量級提升分析處理性能。
分布式空間分析與處理技術的外延
SuperMap GIS 10i(2020)新版本中,分布式空間分析與處理技術新增支撐對三維數據的分布式處理,例如地形、影像數據等多元數據,在數據接入、數據處理、服務發布環節,都可以使用分布式的技術來提升性能。
這其中不得不提支持Web和分布式計算的Geoprocessing,它提供了一種圖示化的、所見即所得的方式,用來構建空間數據分析流程、處理建模,還支持分布式處理算子,可用分布式的算法提高性能。同時,它提供了純Web版本(Web GP),可以與桌面的GP協同。這在國際范圍內是一種創新的嘗試。
分布式空間分析與處理技術的價值體現為:高性能,即提高分析處理算法的性能,降低時間消耗。
超圖做了某省土地利用(矢量數據)區域匯總分析的測試,4389萬記錄數據+省區劃面數據,如此大量的數據采用傳統單機方法需要耗時14.5小時,改為6節點的分布式計算模式后,只需要耗時22分鐘,性能提升了40倍。
4、分布式空間數據引擎技術
分布式空間數據引擎技術,就是利用多機協同的分布式數據存儲技術,突破空間數據庫容量瓶頸。以前數據庫記錄數超過一個億時,性能就急劇下降。這就需要分布式空間數據引擎技術,來提高空間數據存儲管理性能。
SuperMap分布式空間數據引擎
SuperMap GIS 10i(2020)新版本中,分布式空間數據引擎技術新增支持分布式三維緩存瓦片存儲。如傾斜攝影建模數據、點云數據等多源數據,可以把三維瓦片數據存放在MongoDB中,以提高緩存讀寫的性能。
同時,分布式還能賦能三維GIS游戲引擎,“實力派”三維GIS可以為游戲引擎提供大場景三維數據和GIS分析處理能力,“偶像派”游戲引擎可以為三維GIS提供高仿真渲染效果。
超圖還聯合Unreal Engine、Unity兩大游戲引擎公司,研發了三維GIS插件——超圖三維GIS游戲引擎開發包(SuperMap Scene SDKs 10i(2020) for game engines)。未來的數字孿生,也許就要借助這樣的方式,來實現更好的可視化效果。
分布式空間數據引擎技術的價值可總結為:大容量和高性能。大容量,就是突破大容量數據的管理;高性能,是指數據大的時候,索引查詢的性能大幅度提高。
5、空間區塊鏈技術
數據存儲量、性能都很高了,怎么防止別人去篡改數據?這就需要超圖今年新發布的空間區塊鏈(Geo-Blockchain)技術。
高安全、可追溯、高可信的區塊鏈,是一種特殊的分布式的數據存儲方式,與GIS融合后,就形成了空間區塊鏈,達成了高可信的分布式空間數據庫。空間區塊鏈技術的價值就是:高可信。超圖空間區塊鏈技術框架選擇了擴展性好、流行度高、開源可商用的聯盟鏈Hyperledger Fabric。
由于空間區塊鏈要解決防篡改的問題,性能比較低,空間消耗比較大,重復存儲要消耗十幾倍的空間消耗,目前還不能做到把所有的空間數據都上鏈,只能把關鍵的、要保護的數據上鏈。如果數據量較大,則需要通過IPFS作為外部存儲來配合上鏈。
空間區塊鏈技術
未來的一段時間,空間區塊鏈技術可應用到國土空間規劃與用途管制、不動產登記與交易、自然資源資產與權益管理等自然資源管理相關領域,以及食品、藥品監督與溯源、重要物品物流位置管理、城管執法管理等領域中,帶來新的應用價值。宋關福說,區塊鏈與GIS的結合才剛剛開始,精彩正在展開。
宋關福總結說,上述五項技術都有著各自的價值。高性能的邊緣GIS技術,高可用、高并發、高彈性的云原生GIS技術,高性能的分布式空間分析與處理技術,大容量、高性能的分布式空間數據引擎技術,高可信的空間區塊鏈技術,它們共同組成了分布式GIS技術體系,所以分布式GIS的價值可以總結為“五高、一大”。這些技術和價值將給地理信息技術和應用創造更多可能。
分布式GIS的價值“五高、一大”
會上,超圖正式發布了SuperMap GIS 10i (2020),推出了新的GIS基礎軟件五大技術體系(BitDC),即大數據GIS、人工智能GIS、新一代三維GIS、分布式GIS和跨平臺GIS技術體系,豐富和革新了GIS理論與技術,為各行業信息化賦能更強大的地理智慧。
SuperMap GIS 2020 五大技術體系(BitDC)
(新聞稿 2020-09-14)