作為一名計算機技術宅和迅雷下載重度用戶,從當年迅雷剛推出的時候就開始用它,那種眼看著一部幾個GB大小的電影在瞬間就下完的感覺特別爽,可以說迅雷是唯一一個陪伴了我十幾年到現在還在用的軟件了。
十五年來,迅雷憑借自己獨家的P2P和P2SP技術,陸續超越了網際快車、QQ旋風、VeryCD、電驢等對手,成為擁有幾億量級用戶的國民軟件。但下載之外向游戲、影音等領域的轉型屢屢遇挫……
直到2014年,迅雷成立了一家全新的子公司網心科技開始探索共享計算,這家互聯網老兵才算是找到了一條正確的轉型之路。到2017年,網心科技推出結合共享計算和區塊鏈的智能硬件玩客云,今年又正式推出底層區塊鏈平臺迅雷鏈,將原有的分布式技術優勢在全新的共享計算和區塊鏈的領域發揮得淋漓盡致。
迅雷的分布式技術究竟有何獨特之處?為什么說迅雷天生就適合做區塊鏈?筆者結合自己在技術領域的理解和思考,將在下文中一一剖析。
P2P下載起家
互聯網的發展是分組交換、分布計算技術和無中心思想的結果,當年各自擁有一萬顆核導彈的美蘇之間的博弈逼出了無中心、分散控制的互聯網。
然而,縱觀互聯網數據傳輸方式的發展,去中心化卻是一個漫長的過程。在互聯網發展早期,由于連接到網絡里的的計算機配置不高,計算能力和存儲能力不足,因此相當長一段時間我們更傾向于使用基于客戶端(client)和服務器(server)的C/S模式及瀏覽器(Browser)和服務器(server)的B/S模式。
HTTP和FTP等協議便是針對中心化服務器提出的互聯網數據傳輸協議,用戶通過客戶機程序向服務器程序發出命令,服務器程序執行用戶發出的命令,并將執行的結果返回到客戶機,即數據都存儲在中心服務器中,用戶都向中心服務器尋求信息,而不是用戶和用戶彼此之間發布指令尋找信息。
雖然該類協議使得用戶獲得了接觸數據的渠道,但是,這種傳輸方式所面臨的問題是:一旦中心服務器出現故障或者數據被限制,那么用戶便無法看到網頁,出現404錯誤。其次,當文件被同時大量使用時,將使得下載文件的使用效率變低。
隨著計算機的高并發數據處理速度的提高,P2P協議,即點對點的傳輸方式逐漸被廣泛使用于文件下載和在線視頻領域,解決了中心化傳輸方式的資源和速度等瓶頸。
P2P模式分為中心化拓撲網絡結構、半中心化拓撲網絡結構等。BitTorrent便是P2P技術在文件共享上的一種中心化拓撲網絡結構的網絡協議應用,BitTorrent軟件用戶首先從Web服務器上獲得下載文件的種子文件,種子文件中包含下載文件名及數據部分的哈希值,還包含一個或者多個的索引(Tracker)服務器地址。其工作過程如下:客戶端向索引服務器發布請求,索引服務器根據請求的查找內部的數據索引,隨機地向客戶返回有該文件的一組節點,客戶端連接這些節點,下載需要的文件片段。
這種方式中心索引服務器承擔的是索引功能,并不存儲任何數據資源。但是由于中國用戶大多使用ADSL上網,ADSL的上傳速度并不快,僅幾十K速度,一些用戶還會人為限制上傳速度,這導致了P2P方式的上傳帶寬資源的缺乏,因此中國用戶會普遍感覺P2P的速度較慢。也正因此,中國當時盛行的幾大P2P下載軟件都逐漸退出市場。
之后,迅雷首創的P2SP技術實際上對P2P技術的延伸,它不但支持基本的HTTP、FTP下載,還支持同一個資源的多種P2P協議下載,例如BT和電驢協議。它通過檢索數據庫把原本孤立的服務器和其鏡像資源(一個磁盤上的數據在另一個磁盤上存在一個完全相同的副本即為鏡像)以及P2P資源整合到了一起。用戶下載某一個文件的時候,會自動搜索其他資源,選擇合適的資源進行加速,這使得迅雷在下載的穩定性和下載的速度上,比傳統的P2P有了非常大的提高。
這里面的核心就是迅雷的智能資源選擇。也就是說,在傳統P2P模式下,索引服務器為用戶分配的文件節點是隨機的,而在P2SP模式下,當某文件被第一次下載后,服務器將記錄下這個節點信息,形成一個龐大的下載鏈接庫;當下一次其他用戶下載同一個文件時,服務器就會根據用戶具體的網速為其分配最優化的下載節點,因此用戶感覺下載速度的確非常快。
可以說,迅雷從誕生之初起,就是一家技術創新公司。基于技術優勢,迅雷在眾多競爭者林立的環境下,仍能夠快速發展了大量用戶。在網際快車大半年不更新的情況下,迅雷卻以25天一個版本的速度不斷更新,每更新一次,用戶量就翻一番。到2007年,其用戶規模僅次于騰訊QQ。用戶越多資源越多,下載速度越快。而其競爭對手,如電驢、快車、QQ旋風等則相繼退出了市場。
共享計算——轉型的開始
隨著互聯網基礎設施和垂直性信息平臺的發展,用戶越來越看重信息獲取的及時性,云計算成了迅雷的重要轉型方向。
2014年,迅雷成立了全資子公司網心科技,邀請曾在美國微軟和谷歌工作多年、回國后擔任騰訊云計算公司總裁的陳磊擔任網心科技CEO,推出了創新的云計算模式——共享計算,通過已授權的智能硬件設備收集社會普通家庭中閑置的帶寬、存儲等計算資源,并通過跨平臺、低功耗的虛擬化技術、以及節點就近訪問的智能調度技術,實現更快、更易擴展、更環保的計算方式。
相比傳統的依靠大型數據中心和中心化服務器的云計算,共享計算的節點更多、成本更低、更為環保、且隨著節點數量的增多邊際成本不斷下降;相比傳統的依靠電腦作為臨時傳輸節點的P2P CDN,共享計算采用專門的智能硬件設備,性能更加穩定、可靠、強大。
迅雷賺錢寶和星域CDN是該技術的一次嘗試。迅雷賺錢寶這款能讓用戶將家中閑置的上行帶寬資源變現的智能硬件,一經推出便受到用戶熱搶、供不應求。而這些賺錢寶便形成了分布均勻、在線穩定的共享計算節點網絡,用戶貢獻出來的閑置資源,經過網心科技的創新技術,轉化為了星域CDN的云計算服務。
星域CDN的推出,不僅重新定義了CDN市場的價格體系,也被譽為“網絡傳輸技術的一次革命”,極大降低了網絡傳輸高峰時的擁塞情況,提升了用戶訪問響應速度和命中率,迅速獲得小米電視、愛奇藝、嗶哩嗶哩、熊貓直播等眾多對網絡內容傳輸要求極高的企業的認可。而后星域CDN又升級為星域云,提供邊緣計算、函數計算等更多云計算產品。
不管是直接面向用戶的下載軟件,還是為互聯網企業提供內容傳輸的云計算產品,迅雷的分布式下載技術都為其提供了核心的技術根基,從而打造了難以超越的產品體驗。
共享計算+區塊鏈,下一代技術浪潮
在發展共享計算的過程中,迅雷一直在探尋讓用戶分享資源和獲取回報的過程更加公開、可信的機制,而同為去中心化技術體系的區塊鏈以其公開、透明、不可篡改的特性,進入了迅雷的視野。
在中本聰2008年發表的《比特幣:一種點對點網絡中的電子現金》一文中,明確指出了區塊鏈網絡是一“P2P”,即點對點的網絡。區塊鏈技術來源于P2P,解決了分布式計算容錯的問題。而迅雷作為在分布式技術上影響力最大的一家企業,進入區塊鏈領域有著得天獨厚的優勢,而區塊鏈技術也為迅雷的共享計算生態提供了完善的信任機制和激勵機制。因此經過大量的技術分析和預研,迅雷的區塊鏈布局拉開帷幕。
2017年8月,迅雷推出了玩客云,既融合了私人云盤、遠程下載等功能,也是一款基于區塊鏈技術的共享計算智能硬件。用戶除了能夠搭建真正屬于自己的云盤服務器、享受到迅雷終身免費下載技術外,還能通過分享閑置的帶寬、存儲和計算等資源,獲取基于區塊鏈技術的鏈克,用于兌換共享計算生態中的產品和服務。玩客云一經推出就成為年度最暢銷的智能硬件,受到超過3500萬用戶的熱搶。
玩客云象征著共享計算技術和區塊鏈技術的結合,使得共享計算的節點數量提升到了150多萬,這意味著迅雷的區塊鏈云計算網絡更加密集和強大。在此基礎上,2018年4月,迅雷推出了底層區塊鏈技術平臺迅雷鏈,首家達到百萬TPS(每秒處理次數)性能、秒級確認的處理能力。而后迅雷又推出了自主研發的迅雷鏈文件系統TCFS(Thunder Chain File System),使得文件和大塊數據上鏈成為可能。
迅雷的區塊鏈技術有效解決了區塊鏈行業面臨的擴容問題和速度問題。
一方面,由于目前大多數區塊鏈系統同步處理的數量較低,極易造成系統崩潰的情況。比特幣每秒處理的速度便只有7筆左右,以太坊也大概在15-35左右,相比起來傳統的電子支付巨頭如VISA每秒交易數量可達數萬次。而迅雷鏈采用同構多鏈框架,不同用戶的數據會落到不同的鏈上,單個節點只需負責單一鏈上的相關數據,縮小了存儲需求;多鏈是可以無限擴展的,再加上了同構的特性,由此得以拓展到百萬TPS,有效避免了系統性能過低造成的應用崩潰的現象,可以支持大規模的現象級區塊鏈應用。同時采用“DPOA+PBFT”的共識機制,挑選出網絡更穩定、速度更快的節點,實現秒級確認。
另一方面, 隨著區塊鏈的發展,節點存儲的數據會越來越大,存儲與計算負擔越來越重,以比特幣為例,其完整數據在2016年便已經達到了63.61GB,用戶如果使用客戶端同步數據的話,可能三天三夜都無法完成。而迅雷鏈文件系統整合了IPFS熱門文件永不丟失和Filecoin避免冷門文件丟失的兩大技術特性,自帶激勵機制,實現存儲效果最大化。
迅雷鏈和TCFS大大降低了區塊鏈開發者的開發門檻、開發成本與開發難度,可以實現更高效率的區塊鏈場景應用落地。目前迅雷鏈的行業解決方案已經覆蓋了商品溯源、數據分享、版權分發、知識經濟、社會公益和征信等多個領域,吸引了壹基金、來電科技、HGBC、4K花園等多家合作伙伴,還與新大陸集團合作在數字公民和在線支付等領域探索區塊鏈解決方案。
當前巨頭紛紛布局區塊鏈,但在技術研發及應用中表現最為突出的,還是要數迅雷。可以說迅雷在分布式技術上的十幾年積累,促使其在云計算和區塊鏈上領先了一大步,而且體現出標桿企業的發展態勢。下一代區塊鏈的技術世界里,將會是怎樣的格局,我們拭目以待。
(新聞稿 2018-10-16)