截至目前，通信行業(yè)都開啟了自己的人工智能業(yè)務(wù)，人工智能已經(jīng)成為運營商發(fā)力數(shù)字化新業(yè)務(wù)的著力點。而在平臺AI核心能力層，將產(chǎn)生大量語音、圖像、視頻以及其他結(jié)構(gòu)化數(shù)據(jù)，算力的進步也為深度學習集群方案提供了后盾支持。
為了提高網(wǎng)絡(luò)運營、服務(wù)和管理等全鏈條的智能化水平、運用信息通信技術(shù)更好地支撐和服務(wù)人工智能產(chǎn)業(yè)以及各行業(yè)的智能化轉(zhuǎn)型。近日，曙光通過多年通信行業(yè)的深耕經(jīng)驗，以深度學習集群方案保障高效計算，滿足通信行業(yè)智能語音、市場營銷、網(wǎng)絡(luò)智能化、客戶服務(wù)智能運用等業(yè)務(wù)層需求。
曙光深度學習集群方案是如何支撐起通信行業(yè)AI智能運用的呢？
深度學習集群方案架構(gòu)
從整體來看
曙光深度學習集群方案從計算、存儲、網(wǎng)絡(luò)、軟件等部分，組成了合理、符合通信行業(yè)用戶應(yīng)用特點、沒有性能與功能短板的一套集群方案。
從計算層角度
GPU服務(wù)器為深度學習提供強勁的算力支持。GPU的眾核體系結(jié)構(gòu)包含了大量的流處理器，矢量運算可以并行進行，對于矩陣運算的加速效果非常明顯，而深度網(wǎng)絡(luò)在訓練過程中需要進行大量的矩陣運算，這無疑成了深度模型訓練方面的首選方案之一，利用GPU訓練深度網(wǎng)絡(luò)可以充分的發(fā)揮計算核心的并行計算能力，在海量訓練數(shù)據(jù)的情況下，耗費時間短，使用服務(wù)器數(shù)量也變得更少。
針對不同深度學習場景，可以搭載多顆GPU的不同類型GPU服務(wù)器，在整個計算層中成為了的核心計算單元。同時，在計算層中針對集群管理和桌面服務(wù)等非核心計算部分采用通用機架服務(wù)器支撐。
從網(wǎng)絡(luò)層角度
網(wǎng)絡(luò)層主要包括物理網(wǎng)絡(luò)傳輸、集群管理調(diào)度、人工智能平臺三個部分。
- 網(wǎng)絡(luò)傳輸部分，對于深度學習網(wǎng)絡(luò)模型訓練，除了提供強大計算能力還需要保證PCI-E的傳輸帶寬，對于多機情況，需要能提供更好網(wǎng)絡(luò)帶寬的網(wǎng)絡(luò)設(shè)備來保證整個系統(tǒng)的數(shù)據(jù)傳輸效率，減少網(wǎng)絡(luò)數(shù)據(jù)傳輸帶來的影響；
- 集群管理調(diào)度需要對計算集群整體狀態(tài)和計算節(jié)點的實時狀態(tài)進行監(jiān)控和分析，并形成實時的可視化數(shù)據(jù)報表；
- 人工智能平臺需要提供對深度學習開發(fā)環(huán)境的快速部署；并要針對深度學習開發(fā)，對運算資源按照訓練任務(wù)進行分割和分發(fā)。
從存儲層角度
存儲層主要用于存放計算數(shù)據(jù)，在高性能計算中，數(shù)十個或者上百個計算節(jié)點需要有一個統(tǒng)一映像的共享存儲，使用并行文件系統(tǒng)把所有的存儲陣列統(tǒng)一為一個大的存儲，而并行文件系統(tǒng)能夠滿足用戶需求。針對深度學習解決方案，曙光ParaStor系列采用分布式集群架構(gòu)，提供充足的I/O聚合帶寬，存儲系統(tǒng)穩(wěn)定可靠、具有線性擴展能力。
曙光ParaStor系列
隨著物聯(lián)網(wǎng)、5G等通信技術(shù)的應(yīng)用，連接規(guī)模必將指數(shù)級地增長。當這張連接一切的網(wǎng)絡(luò)和被連接的單元都被賦予智能后，智能化的生產(chǎn)和生活將無處不在，將給全社會帶來天翻地覆的變化和全新的體驗。
