基于Hadoop的開源軟件公司Cloudera與Hortonworks于2018年10月宣布合并，并在2019年推出了結(jié)合了Cloudera原有產(chǎn)品CDH和Hortonworks原有產(chǎn)品HDP的全新的大數(shù)據(jù)平臺產(chǎn)品CDP。

　　合并后的Cloudera整合了Hortonworks和Cloudera各自在之前使用的授權(quán)許可方式，對許可方式進行調(diào)整：Cloudera所有產(chǎn)品都將采用OSI批準(zhǔn)的許可證，即Apache軟件許可證(ASL)或Affero通用公共許可證(AGPL)。用戶不得不面臨許可變更帶來的風(fēng)險。

　　另一方面，Cloudera對原有產(chǎn)品的服務(wù)支持也做出調(diào)整。Cloudera會在2022年前繼續(xù)支持CDH和HDP兩條產(chǎn)品線，給用戶一個過渡期。原有的CDH和HDP用戶均可通過升級至CDP獲得諸多新功能。也就是說，在2022年全部用戶都將遷移到CDP上來。但CDP以訂閱方式提供服務(wù)，用戶付費成本大幅增加。

　　同時開源軟件的安全事故迭出，影響巨大。同時，開源軟件安全方面功能的缺失或者被限制，也成為用戶應(yīng)用的后顧之慮。

　　如何面對許可方式的變更，產(chǎn)品服務(wù)方式改變所帶來的成本增加，以及不斷增加的安全威脅，已經(jīng)成為CDP和CDH的用戶不得不面對的問題。

　　春秋航空公司，是國內(nèi)第一家由民營資本獨立經(jīng)營的低成本航空公司，也是國內(nèi)第一家由旅行社起家的低成本航空公司。成立37年來，春秋航空公司快速發(fā)展，從正式開航到現(xiàn)在，機隊規(guī)模已經(jīng)達到96架、國際國內(nèi)航線達到210條，是國內(nèi)低成本航空公司的典范。

　　春秋航空用星環(huán)科技大數(shù)據(jù)基礎(chǔ)平臺TDH成功替換開源大數(shù)據(jù)平臺CDH，打破了新技術(shù)與業(yè)務(wù)場景之間的隔閡，用技術(shù)為業(yè)務(wù)賦能，快速挖掘數(shù)據(jù)價值。借助星環(huán)科技TDH 極速大數(shù)據(jù)平臺，春秋航空快速提高了數(shù)據(jù)處理規(guī)模和數(shù)據(jù)處理性能，增強了數(shù)據(jù)管控力度，為數(shù)據(jù)挖掘和數(shù)據(jù)分析提供了全面的數(shù)據(jù)支持，堪稱大數(shù)據(jù)平臺國產(chǎn)化替代的典范。

　　春秋航空大數(shù)據(jù)平臺建設(shè)需求和挑戰(zhàn)

　　春秋航空是一家倡導(dǎo)旅客個性化消費的航空公司，提升利潤和降低成本是春秋航空一直希望做的事情。而航空公司是重資產(chǎn)低利潤的行業(yè)，節(jié)約成本在眾多提高利潤的因素中占很大的比重。航空公司的航油成本占了總成本的30%到40%，所以節(jié)省航油成為降低成本的關(guān)鍵。

　　節(jié)省航油理論上講并不是很難，和開車的邏輯類似，按最短的路線，或控制好油門都可以省油。我們開車時能用GPS選擇最短路線，對于飛機飛行來說卻沒有那么簡單。首先，我們要對飛機的飛行日志進行分析。飛機上的QAR(Quick Access Recorder，快速存取記錄器)每八分之一秒會將飛機上3000多個設(shè)備儀器的參數(shù)記錄一次，飛機一天在天上要飛十幾個小時，一年下來數(shù)據(jù)量非常大。每架飛機一年會記錄一億多條數(shù)據(jù)，80多架飛機一年就是80多億條數(shù)據(jù)。因此做好節(jié)油工作首要任務(wù)是解決80多億的數(shù)據(jù)處理問題。

　　早期，春秋航空引入了開源大數(shù)據(jù)平臺CDH，并基于該平臺開展了個性化推薦、精準(zhǔn)營銷方面的工作，但在使用的過程中發(fā)現(xiàn)了很多問題。對于復(fù)雜的航空業(yè)務(wù)，原平臺需要大量的開發(fā)工作來適配業(yè)務(wù)，對開發(fā)人員的要求非常高，很難實現(xiàn)業(yè)務(wù)的快速落地和價值挖掘。

　　面對一些跨庫關(guān)聯(lián)的復(fù)雜分析場景需要數(shù)據(jù)的導(dǎo)入導(dǎo)出，過程較為繁瑣，費時費力。數(shù)據(jù)分析人員需要對數(shù)據(jù)進行實時分析，以便對業(yè)務(wù)進行快速調(diào)整，而原平臺只支持T+1的計算分析能力，不能滿足業(yè)務(wù)分析的實時性需求。如剛才介紹，航空飛行產(chǎn)生海量的數(shù)據(jù)，精細化到毫秒級別，而原平臺表現(xiàn)出存儲和處理分析能力不足。

　　另外，其混合架構(gòu)以及開源特性使得解決問題的效率相對會比較低，給系統(tǒng)和業(yè)務(wù)運維帶來很大的壓力。

　　星環(huán)科技TDH助力春秋航空快速實現(xiàn)數(shù)據(jù)價值

　　當(dāng)前，企業(yè)數(shù)智化轉(zhuǎn)型正是信息技術(shù)自主創(chuàng)新和國產(chǎn)化替代的主戰(zhàn)場，更是需要通過提升自主創(chuàng)新能力、加速數(shù)字化智能化轉(zhuǎn)型，全面推動整個產(chǎn)業(yè)數(shù)字化進程。

　　基于星環(huán)科技大數(shù)據(jù)基礎(chǔ)平臺TDH技術(shù)的先進性和獨特性，春秋航空用TDH替換原先的開源CDH數(shù)據(jù)平臺。借助星環(huán)科技TDH 高性能批處理及關(guān)系型分析引擎Inceptor等工具，春秋航空完成各種數(shù)據(jù)清洗，業(yè)務(wù)處理等工作，提高了數(shù)據(jù)處理規(guī)模，數(shù)據(jù)處理性能更快，增強了數(shù)據(jù)管控力度，為數(shù)據(jù)挖掘和數(shù)據(jù)分析提供了全生命周期的數(shù)據(jù)支持。

　　星環(huán)科技TDH大數(shù)據(jù)基礎(chǔ)平臺采用先進的多模型統(tǒng)一架構(gòu)，一體化構(gòu)建服務(wù)于整個企業(yè)的統(tǒng)一數(shù)據(jù)資源庫，徹底打破不同部門間的數(shù)據(jù)隔閡，支持?jǐn)?shù)據(jù)跨部門靈活調(diào)用，有效降低開發(fā)運維成本。統(tǒng)一的計算引擎可以跟據(jù)不同的存儲引擎自動匹配高性能算法，避免數(shù)據(jù)導(dǎo)入導(dǎo)出。統(tǒng)一的分布式存儲管理系統(tǒng)可以輕松實現(xiàn) GB~PB級多源異構(gòu)數(shù)據(jù)的高效存儲和統(tǒng)一管理，為不同的存儲引擎提供公共的存儲服務(wù)，有效保障數(shù)據(jù)一致性和高可用。

基于星環(huán)大數(shù)據(jù)平臺的架構(gòu)設(shè)計

　　系統(tǒng)將每天產(chǎn)生在Oracle的數(shù)據(jù)進行T+1抽取，業(yè)務(wù)邏輯打包成各種shell腳本等腳本，通過Transwarp Workflow任務(wù)調(diào)度軟件進行調(diào)度，在大數(shù)據(jù)集群內(nèi)進行各種處理，完成數(shù)據(jù)清洗，業(yè)務(wù)匯總等工作。

　　關(guān)系型分析引擎Inceptor提供PB級海量數(shù)據(jù)的高性能分析服務(wù)，其同時支持完整的SQL標(biāo)準(zhǔn)語法，兼容Oracle、IBM DB2、Teradata方言，兼容Oracle和DB2的存儲過程，可以平滑遷移應(yīng)用。同時其支持分布式事務(wù)處理，保障數(shù)據(jù)強一致性。跟開源方案相比，Inceptor是全球首個通過分析決策系統(tǒng)國際基準(zhǔn)測試TPC-DS及官方審計的產(chǎn)品，TPC-DS查詢性能是開源Hive的7~25倍。

　　實時流計算引擎Transwarp Slipstream落地即分析，提供百萬級高吞吐、毫秒級低延時業(yè)務(wù)處理支撐能力，滿足業(yè)務(wù)分析實時性需求，彌補之前CDH無實時分析能力的空缺。對于之前平臺無二級索引和全文搜索能力，分布式搜索引擎Transwarp Scope提供PB級海量數(shù)據(jù)的交互式多維檢索分析服務(wù)，能夠?qū)崿F(xiàn)高可靠、高擴展性的全文搜索與靈活查詢。

　　春秋航空進入數(shù)據(jù)精細化運營時代

　　突破關(guān)鍵核心技術(shù)，加快推進國產(chǎn)自主可控替代計劃，構(gòu)建安全可控的信息技術(shù)體系，發(fā)展信創(chuàng)產(chǎn)業(yè)，是國家一項長期戰(zhàn)略。經(jīng)過多年的發(fā)展，我國國產(chǎn)化替代不斷拓展，信創(chuàng)產(chǎn)業(yè)不斷發(fā)展壯大。

　　在數(shù)字經(jīng)濟時代，IT系統(tǒng)自主創(chuàng)新和國產(chǎn)化替代已經(jīng)不再僅僅是進口的軟硬件產(chǎn)品替換成國產(chǎn)產(chǎn)品，而是要以新的思路、新的應(yīng)用，將數(shù)智化與信創(chuàng)化相結(jié)合，形成中國企業(yè)真正的國產(chǎn)化應(yīng)用替代。

　　星環(huán)科技與春秋航空的合作，成功的用國產(chǎn)自主可控的國產(chǎn)大數(shù)據(jù)平臺替代國外的開源大數(shù)據(jù)平臺，應(yīng)用成效突出：

　　利用星環(huán)科技TDH強大的數(shù)據(jù)處理能力，春秋航空完成了成本指數(shù)監(jiān)控。例如上線4個月時，成本指數(shù)執(zhí)行率從58%上升到69%。隨后春秋航空又建立了直飛優(yōu)化模型和高度優(yōu)化模型，實現(xiàn)了飛行路線的優(yōu)化。通過直飛模型可以提前分析大量的直飛機會，減少飛行距離，降低飛行成本。

　　同時通過對歷史飛行軌跡及優(yōu)化分析，可以尋找飛機攜帶油量的平衡點，從而降低航油消耗。基于星環(huán)科技TDH極速大數(shù)據(jù)平臺，春秋航空還建立了高度優(yōu)化模型。大氣層越往上越稀薄，飛機飛得越高阻力越小，意味著越節(jié)油。通過海量數(shù)據(jù)監(jiān)控建立高度模型對飛機飛行高度進行優(yōu)化，從而達到節(jié)省航油的目的。春秋航空節(jié)油項目取得了很好的效果，據(jù)估算80架飛機每年僅燃油成本就可節(jié)省約2400萬。

　　目前，基于星環(huán)科技TDH的大數(shù)據(jù)平臺已成為春秋航空所有數(shù)據(jù)的中心，負(fù)責(zé)所有條線營銷服務(wù)、飛行安全、維護維修的數(shù)據(jù)分析。

　　星環(huán)科技大數(shù)據(jù)基礎(chǔ)平臺TDH憑借技術(shù)的先進性，在眾多行業(yè)領(lǐng)域完成國外產(chǎn)品的進口替代，幫助企業(yè)加速數(shù)字化轉(zhuǎn)型，更全面、更便捷、更智能、更安全地運用數(shù)據(jù)，大幅降低綜合成本�；�于星環(huán)科技極速大數(shù)據(jù)平臺構(gòu)建核心商業(yè)系統(tǒng)，是企業(yè)實現(xiàn)一站式數(shù)字化轉(zhuǎn)型、加速業(yè)務(wù)創(chuàng)新的致勝關(guān)鍵。