2021年5月24日,國家發展改革委、中央網信辦、工業和信息化部、國家能源局聯合發布《全國一體化大數據中心協同創新體系算力樞紐實施方案》,明確提出布局建設全國一體化算力網絡國家樞紐節點,加快實施“東數西算”工程。其后,四部委又分別于2021年12月20日和2022年2月7日正式復函同意京津冀、長三角、粵港澳大灣區、成渝、內蒙古、貴州、甘肅、寧夏等地啟動建設國家算力網絡樞紐節點。至此,“東數西算”工程全面進入建設期。
顧名思義,“東數西算”工程就是把東部地區的非實時算力需求以及大量生產生活數據輸送到西部地區的數據中心進行存儲、計算并反饋。其目的是希望構建更綠色、更平衡和更高效的國家算力網絡體系,以滿足新時代各行各業數字化轉型、數字技術與生活場景加速融合所帶來的海量計算、傳輸、存儲需求,最大化實現數據中心產業綠色集約發展,推動資源統籌利用和西部數字經濟建設。可以預見,“東數西算”工程未來將發揮與眾所周知的“南水北調”工程(建設國家高品質水網)和“西電東送”工程(建設國家高品質電網)相似重要作用和價值,并與西部發展、生態文明建設和雙碳戰略等當前重大國策休戚相關,同步發展。
從整體上,“東數西算”工程將圍繞“五個一體化”的工程目標建設:
網絡一體化。圍繞集群建設數據中心直聯網,建立合理網絡結算機制,增大網絡帶寬,提高傳輸速度,降低傳輸費用。圍繞集群穩妥有序推進新型互聯網交換中心、互聯網骨干直聯點建設。
能源一體化。從國家雙碳戰略整體規劃出發,充分發掘西部豐富的風光等可再生資源,應對好可再生能源波動性問題,擴大清潔能源市場化交易范圍,促進建立清潔能源消納的市場化機制。從整體規劃層面對數據中心集群進行統一能耗指標調配。
算力一體化。在集群和城區內部的兩級算力布局下,推動各行業數據中心加強一體化聯通調度,促進多云之間、云和數據中心之間、云和網絡之間的資源聯動,構建算力服務資源池。
數據一體化。建設數據開放共享、政企數據融合應用等數據流通共性設施平臺。試驗多方安全計算、區塊鏈、隱私計算、數據沙箱等技術模式,構建數據可信流通環境。
應用一體化。開展一體化城市數據大腦建設,選擇公共衛生、自然災害、市場監管等突發應急場景,試驗開展“數據靶場”建設,探索不同應急狀態下的數據利用規則和協同機制。
回顧以往,建設國家級超級計算中心與基礎服務環境,我國已經有了超過十年的積累,取得了令世界矚目的成就;在超大型數據中心和云計算平臺的建設上,一些基礎電信運營商、云服務商也積累了大量經驗,在該領域已進入國際先進行列。但對照“東數西算”的預設目標,面對更廣域、更多方參與和更高品質要求下的數據和應用流動場景,現有的技術儲備、工程建設水平、市場化等方面仍舊面臨著大量挑戰。
從筆者視角,“東數西算”工程能夠從以下三個方面發力,解決遇到的問題和挑戰。
一、通過“東數西算”解決算力分布式使用面臨的挑戰
“東數西算”工程最為顯著的特點就是提出了算力聯接網絡,異地算力與網絡協同工作的實現思路。這種思路希望突破傳統計算與數據中心算力提供服務的限制,在目前已經取得廣泛成功的大數據中心和云計算平臺上實現廣域擴展和頂層優化。然而,算力資源傳統上來自計算與數據中心的內部資源且集中部署和管理,要滿足算力一體化需求,需要算力的無縫分布式使用,業界目前還沒有成熟可靠的解決方案。計算的實施是建立在數據之上的,算力的流動首先應完成高效的數據流動,需要更加完善和先進的數據平臺、服務與相關制度。技術層面,可以借鑒數據網格、數據中心網絡、廣域與分布式文件系統的技術經驗,融合新型存儲介質與體系架構,推動新一代分布式數據訪問協議、存儲系統和基礎軟件(分布式數據庫、分布式文件系統)的演進。政策層面,則應進一步加快推動數據要素市場制度建設,推動數據市場化交易模式的落地。
二、通過“東數西算”解決算力交付方式面臨的困境
在云服務中,算力作為一種IaaS資源被使用與管理。但是單一的云平臺調度范圍(區域)有限,過大的管理調度范圍將導致云業務交付無法確保服務質量。無論是采用資源交付還是云服務交付都面臨困難。前者需要一體化的資源管理平臺,實現起來相對簡單,對用戶要求高;后者需要統一的云服務平臺,實現起來將引入更多的服務因素,難度更大。在這方面的探索上,超算互聯網正開展一些初步工作。“十四五”初期就啟動了“國家高性能計算環境的領域應用平臺及服務體系”項目,構建高速網絡連接無錫、廣州、北京、天津、深圳、長沙、青島等地的多個國家級超算中心,集成與研發跨超算資源管理環境、共性應用函數庫與工具軟件,建立復雜力學體系與量子物理體系、生物與材料、環境治理與災害防治三個重點領域的應用資源集成與服務集成,探索跨中心的超算社區運行機制與快速響應與協同機制。跨不同計算架構之間的應用有效部署仍是該項目面臨的挑戰和亟須完成的技術突破。同時,算力本身存在著位置分散、能力各異和動態變化的特征,導致算力存在度量困難,從而影響構建算力使用的結算體系,進一步損害產業運轉。因此,做好算力感知、算力建模及算力評估刻不容緩,面向全網的算力資源(計算、存儲和網絡),開展對各類算力資源的狀態、動態性及分布的分析、度量以及建模,實現基于干擾分析的算力資源評估,作為算力資源發現、交易、調度的依據。
三、通過“東數西算”解決算力使用面臨的安全問題
數據信息傳輸過程中,物理設施、網絡安全、應用安全、數據安全和信息安全等方面可能面臨多重風險。而“東數西算”工程實現的算力資源開放使用則面臨更多的信息安全問題,算力資源從申請到使用再到結算清退,過程中至少跨越使用方和供給方的邊界,一旦有風險,不僅導致算力使用方出現漏洞,也會引發算力供給方的隱患,從而給整個算網資源體系帶來風險。因此,如何在數據開放共享、大范圍多方融合應用的需求和場景下實現端到端的安全,需要技術突破和政策制定等多方面努力,例如:采用和部署內生安全的基礎設施,合理規劃網絡的安全區域以及不同區域之間的訪問權限,試驗多方安全計算、區塊鏈、隱私計算、數據沙箱等技術模式,做好網絡安全態勢監測。
算力設施是數字經濟健康發展的底座,對推動數字經濟健康發展作用巨大。有數據顯示,算力指數平均每提高1個百分點,數字經濟和GDP將分別增長0.33%和0.18%。算力網絡的技術理念已逐步在行業中達成共識。可以預見,“東數西算”工程將為我國以數據為中心的產業發展帶來新的契機,并持續提升數據資產對于經濟發展的貢獻度,帶動廣大西部地區參與智能化引導的數字經濟浪潮當中。盡管面臨上述一系列挑戰,隨著“東數西算”工程的逐步建設,大數據、云計算、高性能計算技術、新一代網絡技術、端到端安全技術,以及其相關產業和政策法規的快速進步與完善,創新開放的業態和場景不斷涌現,未來將逐步實現網絡與計算的一體融合,有效賦能數字經濟。
顧名思義,“東數西算”工程就是把東部地區的非實時算力需求以及大量生產生活數據輸送到西部地區的數據中心進行存儲、計算并反饋。其目的是希望構建更綠色、更平衡和更高效的國家算力網絡體系,以滿足新時代各行各業數字化轉型、數字技術與生活場景加速融合所帶來的海量計算、傳輸、存儲需求,最大化實現數據中心產業綠色集約發展,推動資源統籌利用和西部數字經濟建設。可以預見,“東數西算”工程未來將發揮與眾所周知的“南水北調”工程(建設國家高品質水網)和“西電東送”工程(建設國家高品質電網)相似重要作用和價值,并與西部發展、生態文明建設和雙碳戰略等當前重大國策休戚相關,同步發展。
從整體上,“東數西算”工程將圍繞“五個一體化”的工程目標建設:
網絡一體化。圍繞集群建設數據中心直聯網,建立合理網絡結算機制,增大網絡帶寬,提高傳輸速度,降低傳輸費用。圍繞集群穩妥有序推進新型互聯網交換中心、互聯網骨干直聯點建設。
能源一體化。從國家雙碳戰略整體規劃出發,充分發掘西部豐富的風光等可再生資源,應對好可再生能源波動性問題,擴大清潔能源市場化交易范圍,促進建立清潔能源消納的市場化機制。從整體規劃層面對數據中心集群進行統一能耗指標調配。
算力一體化。在集群和城區內部的兩級算力布局下,推動各行業數據中心加強一體化聯通調度,促進多云之間、云和數據中心之間、云和網絡之間的資源聯動,構建算力服務資源池。
數據一體化。建設數據開放共享、政企數據融合應用等數據流通共性設施平臺。試驗多方安全計算、區塊鏈、隱私計算、數據沙箱等技術模式,構建數據可信流通環境。
應用一體化。開展一體化城市數據大腦建設,選擇公共衛生、自然災害、市場監管等突發應急場景,試驗開展“數據靶場”建設,探索不同應急狀態下的數據利用規則和協同機制。
回顧以往,建設國家級超級計算中心與基礎服務環境,我國已經有了超過十年的積累,取得了令世界矚目的成就;在超大型數據中心和云計算平臺的建設上,一些基礎電信運營商、云服務商也積累了大量經驗,在該領域已進入國際先進行列。但對照“東數西算”的預設目標,面對更廣域、更多方參與和更高品質要求下的數據和應用流動場景,現有的技術儲備、工程建設水平、市場化等方面仍舊面臨著大量挑戰。
從筆者視角,“東數西算”工程能夠從以下三個方面發力,解決遇到的問題和挑戰。
一、通過“東數西算”解決算力分布式使用面臨的挑戰
“東數西算”工程最為顯著的特點就是提出了算力聯接網絡,異地算力與網絡協同工作的實現思路。這種思路希望突破傳統計算與數據中心算力提供服務的限制,在目前已經取得廣泛成功的大數據中心和云計算平臺上實現廣域擴展和頂層優化。然而,算力資源傳統上來自計算與數據中心的內部資源且集中部署和管理,要滿足算力一體化需求,需要算力的無縫分布式使用,業界目前還沒有成熟可靠的解決方案。計算的實施是建立在數據之上的,算力的流動首先應完成高效的數據流動,需要更加完善和先進的數據平臺、服務與相關制度。技術層面,可以借鑒數據網格、數據中心網絡、廣域與分布式文件系統的技術經驗,融合新型存儲介質與體系架構,推動新一代分布式數據訪問協議、存儲系統和基礎軟件(分布式數據庫、分布式文件系統)的演進。政策層面,則應進一步加快推動數據要素市場制度建設,推動數據市場化交易模式的落地。
二、通過“東數西算”解決算力交付方式面臨的困境
在云服務中,算力作為一種IaaS資源被使用與管理。但是單一的云平臺調度范圍(區域)有限,過大的管理調度范圍將導致云業務交付無法確保服務質量。無論是采用資源交付還是云服務交付都面臨困難。前者需要一體化的資源管理平臺,實現起來相對簡單,對用戶要求高;后者需要統一的云服務平臺,實現起來將引入更多的服務因素,難度更大。在這方面的探索上,超算互聯網正開展一些初步工作。“十四五”初期就啟動了“國家高性能計算環境的領域應用平臺及服務體系”項目,構建高速網絡連接無錫、廣州、北京、天津、深圳、長沙、青島等地的多個國家級超算中心,集成與研發跨超算資源管理環境、共性應用函數庫與工具軟件,建立復雜力學體系與量子物理體系、生物與材料、環境治理與災害防治三個重點領域的應用資源集成與服務集成,探索跨中心的超算社區運行機制與快速響應與協同機制。跨不同計算架構之間的應用有效部署仍是該項目面臨的挑戰和亟須完成的技術突破。同時,算力本身存在著位置分散、能力各異和動態變化的特征,導致算力存在度量困難,從而影響構建算力使用的結算體系,進一步損害產業運轉。因此,做好算力感知、算力建模及算力評估刻不容緩,面向全網的算力資源(計算、存儲和網絡),開展對各類算力資源的狀態、動態性及分布的分析、度量以及建模,實現基于干擾分析的算力資源評估,作為算力資源發現、交易、調度的依據。
三、通過“東數西算”解決算力使用面臨的安全問題
數據信息傳輸過程中,物理設施、網絡安全、應用安全、數據安全和信息安全等方面可能面臨多重風險。而“東數西算”工程實現的算力資源開放使用則面臨更多的信息安全問題,算力資源從申請到使用再到結算清退,過程中至少跨越使用方和供給方的邊界,一旦有風險,不僅導致算力使用方出現漏洞,也會引發算力供給方的隱患,從而給整個算網資源體系帶來風險。因此,如何在數據開放共享、大范圍多方融合應用的需求和場景下實現端到端的安全,需要技術突破和政策制定等多方面努力,例如:采用和部署內生安全的基礎設施,合理規劃網絡的安全區域以及不同區域之間的訪問權限,試驗多方安全計算、區塊鏈、隱私計算、數據沙箱等技術模式,做好網絡安全態勢監測。
算力設施是數字經濟健康發展的底座,對推動數字經濟健康發展作用巨大。有數據顯示,算力指數平均每提高1個百分點,數字經濟和GDP將分別增長0.33%和0.18%。算力網絡的技術理念已逐步在行業中達成共識。可以預見,“東數西算”工程將為我國以數據為中心的產業發展帶來新的契機,并持續提升數據資產對于經濟發展的貢獻度,帶動廣大西部地區參與智能化引導的數字經濟浪潮當中。盡管面臨上述一系列挑戰,隨著“東數西算”工程的逐步建設,大數據、云計算、高性能計算技術、新一代網絡技術、端到端安全技術,以及其相關產業和政策法規的快速進步與完善,創新開放的業態和場景不斷涌現,未來將逐步實現網絡與計算的一體融合,有效賦能數字經濟。