Telemarketing Leads

當您將 Spark SQL 工作負載遷移到雲端時，Google Cloud 提供一系列服務選項，從基礎架構即服務 (IaaS) 執行個體到託管 Spark 服務。對於無伺服器整合 Spark 環境，請務必查看 Google Cloud 託管服務。(1)但是，對於您喜歡創建、管理、擴展以及更好地控制自己的 Spark 環境的工作負載，IaaS 選項是最佳選擇。

Google Cloud 提供許多不同的執行個體係列可供選擇，並依工作負載資源需求進行分類。這些類別包括通用、儲存優化、計算優化、記憶體優化和加速器優化。正如其命名所 印度手機號碼列表 暗示的那樣，這些類別中的實例包括不同比例的記憶體和 CPU 核心、更好的儲存效能或 GPU，以滿足各種工作負載要求。(2)此外，您可以在實例係列中選擇不同的 vCPU 與記憶體比率，以及「highcpu」或「highmem」類型的實例。高記憶體執行個體類型更適合 Spark 等記憶體密集、大規模資料轉換和大型資料庫等工作負載，從而提高效能並縮短執行時間。

Google Cloud 還提供多種區塊儲存選項，以滿足各種效能和容量要求，在效能和成本之間達到適當的平衡。例如，標準持久性磁碟硬碟是滿足低成本、標準效能需求的好選擇，而本地連接的 SSD 選項可提供更好的效能。(3)為了幫助您選擇最適合您的工作負載的選項，Google Cloud 提供了設計指南、定價計算器、比較指南等。



對於我們的測試，我們決定專注於通用的「highmem」Google Cloud 實例，因為 Spark SQL 是記憶體密集的。然而，我們的決策還沒結束。使用者還可以選擇實例大小以及他們想要使用的實例係列中的特定係列。配備較舊處理器的較舊實例係列通常運行成本較低，但您可能會因使用舊硬體而犧牲效能。您也可以選擇處理器製造商，包括 Intel 和 AMD。在通用系列中，Google 提供 N、C、E 和 T 系列實例。 N 系列建議用於虛擬桌面、中等流量 Web 應用程式和批次等。 C 系列提供更高的 CPU 頻率和網路限制，最適合高流量 Web 應用程式、遊戲伺服器和網路設備等工作負載。 E 系列執行個體用於後台任務、低流量 Web 伺服器和開發。最後，T 系列非常適合媒體轉碼和橫向擴展工作負載。(4)我們將在即將發佈的部落格中探討新的 C4 實例。現在，讓我們來看看我們對配備第五代Intel® Xeon® 可擴展處理器的N4 實例、配備上一代Xeon 第三代可擴展處理器的較舊N2 實例以及配備N 系列AMD 處理器的N2D 實例進行的測試。我們也測試了配備第四代 Intel Xeon 可擴充處理器的 C3 實例和配備 C 系列 AMD 處理器的 C3D 實例。請繼續閱讀，了解配備較新英特爾處理器的實例如何為 Spark SQL 工作負載提供更好的價值。