Spark和Ray，一個是開源于2010年，專為大規模數據處理而設計的快速通用的計算引擎，另一個則是開源于2018年，由加利福尼亞大學伯克利分校RISELab推出的新一代高性能分布式計算框架，兩者都已成為開源領域備受關注的明星項目，而它們成長的背后都離不開一個核心人物，Ion Stoica。
圖：Ion Stoica教授
加利福尼亞大學伯克利分校計算機科學與電氣工程教授Ion Stoica在展望云計算的未來時，思考了該如何推動目前的差異化云計算平臺逐漸發展成為一項公共服務，稱其為“Sky Computing”，就像這個詞匯的含義，Sky Computing是云平臺之上的一層，目標是實現云之間的互操作性。
事實上，實現Sky Computing的障礙更多來自于經濟層面，而不是技術層面，對等互惠則是實現SkyComputing的關鍵步驟。Stoica提出將其作為通用軟件平臺用于未來計算，并考慮技術趨勢和市場力量如何在Sky Computing的實現中發揮關鍵作用。
商業化VS公共化，云計算平臺壁壘高筑
互聯網的出現迅速帶來了全球范圍內可以訪問的多種服務，包括電子郵件、搜索、游戲以及在線零售和社交媒體等新服務的爆炸式增長。
為了應對由此帶來的大規模數據和工作負載，服務商必須構建數據中心，并設計復雜的分布式系統。
但是，創建大規模的基礎計算設施也需要付出高昂的代價，這大大阻礙了大多數公司進入互聯網市場的腳步。
這種情況下，2006年亞馬遜推出S3和EC2時發生了變化。
通過普及計算/存儲訪問，并且推廣“即用即付”商業模式，亞馬遜開啟了云計算時代。
再加上摩爾定律的終結，重新推動了構建公用計算事業的設想。然而，商業趨勢卻將云計算推向了不同的方向。
在過去十幾年中，云計算市場內出現了多個競爭對手，包括AWS、微軟、谷歌、阿里以及其他云平臺(IBM、甲骨文等)。
這種競爭導致價格越來越低，產品和服務種類不斷增加，比如僅AWS一家就提供了近200種產品和服務。
這些服務中有許多是專有服務，每個云平臺都有自己獨特的用于管理集群的API、對象存儲、數據倉庫等，導致在某個云上開發的應用程序通常不能在不同的云上運行。
直到2021年，依然沒有一個底層云平臺擁有一套任何人都可以使用的開放標準，這離公用計算的愿景越來越遠。
因此，現在主要的問題是，如何朝著云計算公共設施化這一目標前進?
“云計算公共設施化”愿景
20世紀60年代，人工智能之父約翰·麥卡錫提出了把計算能力作為一種像電話一樣的公用事業提供給用戶的理念，云計算由此起源。
麥卡錫的預測頗有先見之明，云計算最終應運而生，作為一種新興的資源使用和交付模式逐漸為學界和產業界所認知。
然而，他在經濟學方面的預測卻與現實相去甚遠。
如今，電話服務并沒有成為一種公用設施，而是由互相競爭的云計算服務商提供。
同樣，現在也沒有單一的公用計算設施，云計算也是差異化商品。
并且，云計算市場已經離商品化越來越遠，甚至演變成一系列彼此基本不兼容的專有平臺，例如亞馬遜網絡服務(AWS)、微軟Azure、谷歌云等。
當時，AWS剛剛成立幾年，谷歌唯一的云產品是App Engine，微軟的Azure尚未正式發布。
盡管云計算確實在2010年從根本上改變了IT行業以及應用程序的構建和部署方式，但也存在一個明顯的問題，云計算并沒有像互聯網或網絡那樣成為一種公共設施。
直到2021年，全球都沒有一個單一的底層云平臺具有一套任何人都可以使用的開放標準。
因此，“云計算公共設施化”作為一種新的商業化版本，其創新性受到行業更多關注。
Sky Computing有望實現多云平臺的互操作
盡管云計算和互聯網在許多方面存在差異，但是互聯網的公共設施化為云計算提供了有用的經驗。
在Sky Computing模式下，有三個關鍵的設計使互聯網能夠為大量異構技術和競爭公司提供統一的接口。
- 第一個是掩蓋技術差異的“兼容性”層。
- 第二種是“云間層”，它將互聯網粘合在一起，使其對用戶來說是一個網絡。
- 第三個是一組經濟協議，稱之為“對等層”，允許相互競爭的網絡合作創建一個統一的網絡。
兼容層將使應用程序開發人員能夠輕松地選擇他們的應用程序，并將其AWS遷移到Google Cloud。
簡而言之，兼容層是一組可以構建應用程序的接口或 API，然后可以通過云平臺的一組接口將該兼容性層移植到每個云。
該層可以類比于互聯網中的IP層，然而與之不同的是，云兼容層更像一個操作系統，可以管理計算機資源并向應用程序提供API。
通過云間層，用戶可以指定有關其作業應在何處運行的策略。 這些策略允許用戶表達他們對性能、可用性和成本之間權衡的偏好。
此外，用戶可能希望避免他們的應用程序在競爭對手運營的數據中心上運行，或者留在某些國家/地區以遵守相關的隱私法規。并且云間層也可以實現更安全的應用。
對等層與數據傳輸相關，目前大多數云平臺都有定價政策，將數據傳入云中比將數據移出要便宜得多。
例如，將數據提取到AWS是免費的，而將數據從AWS傳輸出去可能需要0.05-0.09美元/GB。
在“互惠數據對等”方案下，云間可以通過建立高速連接互相免費傳遞數據，使數據傳輸又快又便宜，降低兩個同級云之間的數據定價差異，并實現更大的數據流動自由。
此外，用戶不必管理單個云上的部署，也不應該面臨從一個云遷移到另一個云的各種障礙。
簡而言之，開發人員構建多云應用程序應該像構建在單個云上運行的應用程序一樣容易，而Sky Computing正是在由多個不同云平臺組成的基礎設施上構建公用計算。
展望未來，會有更多創新將發生在云計算領域。盡管在未來幾年內，云服務商推出的新產品可能會繼續成為重磅新聞，但云技術的真正創新將是性能和成本優化。
大多數組織已經在使用云，他們正在尋找更高效、更便宜地使用云的方法，而時髦的新服務相對來說或許就不那么重要了。
