近年來移動互聯(lián)網(wǎng)發(fā)展迅猛，數(shù)據(jù)迅速膨脹，全球步入大數(shù)據(jù)時代。大數(shù)據(jù)時代下，金融邊界不斷延伸，部分具有互聯(lián)網(wǎng)大數(shù)據(jù)功能的公司也逐漸向金融行業(yè)滲透。以阿里巴巴為代表的互聯(lián)網(wǎng)公司攜大數(shù)據(jù)技術(shù)打造的互聯(lián)網(wǎng)金融產(chǎn)品大舉進(jìn)入金融行業(yè)，來勢洶洶。傳統(tǒng)金融企業(yè)亟需大數(shù)據(jù)技術(shù)支撐去發(fā)現(xiàn)和驅(qū)動新的業(yè)務(wù)，應(yīng)對來自互聯(lián)網(wǎng)金融的挑戰(zhàn)。
基于金融行業(yè)安全、自主、高效的特點，金融行業(yè)的大數(shù)據(jù)解決方案有如下需求：
- 自主掌控：基于成熟數(shù)據(jù)庫，可以完全掌握源代碼，技術(shù)成熟經(jīng)過驗證，可自主維護(hù)，安全性高；
- 安全可靠：基于集群技術(shù)，不存在單點故障；
- 性能卓越：具備高效數(shù)據(jù)處理能力，海量并發(fā)連接；SQL解析優(yōu)化與存儲分離；
- 線性擴(kuò)展：通過線性擴(kuò)展提升性能，可根據(jù)業(yè)務(wù)量靈活調(diào)整系統(tǒng)；
- 成本可控：有效降低成本，控制IT支出，數(shù)據(jù)存儲基于廉價硬盤，使用廉價服務(wù)器，舍棄傳統(tǒng)昂貴的數(shù)據(jù)庫；
- 易于開發(fā)：對外提供SQL和API豐富接口，數(shù)據(jù)持久化對應(yīng)用透明，保持對通用數(shù)據(jù)庫最大兼容性，數(shù)據(jù)分布對應(yīng)用透明，降低開發(fā)難度。
基于以上分析，中興通訊基于Hadoop以及開源數(shù)據(jù)庫技術(shù)，結(jié)合在大數(shù)據(jù)項目中的實踐經(jīng)驗，推出面向金融行業(yè)的GoldenData大數(shù)據(jù)解決方案（見圖1）。
中興通訊GoldenData大數(shù)據(jù)解決方案針對金融行業(yè)特點，在安全、開放、調(diào)度、部署、資源隔離、可管理等方面做了開創(chuàng)性工作。
- 兼顧效率的安全機(jī)制
在保證安全防護(hù)等級的前提下，為了不影響平臺的處理效率，中興通訊大數(shù)據(jù)平臺采用管理手段、硬件防護(hù)、軟件加固三位一體的整體安全解決方案。通過技術(shù)手段解決權(quán)限控制、數(shù)據(jù)加解密、事后審計、誤操作恢復(fù)的問題，通過硬件防護(hù)、管理手段解決身份認(rèn)證的問題。
- 標(biāo)準(zhǔn)的開放接口和開發(fā)環(huán)境
提供標(biāo)準(zhǔn)的開放接口和開發(fā)環(huán)境，支持第三方快速完成應(yīng)用開發(fā)。對上層應(yīng)用提供兼容SQL、WebService等接口，方便與現(xiàn)有IT系統(tǒng)的集成；對下層數(shù)據(jù)分布式海量數(shù)據(jù)集采組件，支持多種數(shù)據(jù)源接口：HDFS、Hbase、Hive、ZooKeeper、Sqoop、MR等，屏蔽Hadoop底層技術(shù)，提供標(biāo)準(zhǔn)API接口。
- 多種調(diào)度機(jī)制
獨(dú)立VIP調(diào)度隊列：為了確保特定的任務(wù)可以相對獨(dú)立運(yùn)行，不受其他任務(wù)干擾，需要單獨(dú)開設(shè)一個VIP隊列。
特色的任務(wù)翻牌機(jī)制：金融行業(yè)每個任務(wù)都有自己固定的運(yùn)行時間和計劃，對于失敗的任務(wù)或過了時間卻不滿足運(yùn)行條件的任務(wù)，需要一個固定的翻牌機(jī)制，確保任務(wù)在合適的時機(jī)得到正確的運(yùn)行。
集群流控：在線集群為了保證客戶請求得到實時響應(yīng)，在必要的條件下，對新請求直接拒絕從而確保已有請求獲得充分的資源，確保在線集群的及時響應(yīng)。
- 獨(dú)創(chuàng)在線集群獨(dú)立部署
在線應(yīng)用和基礎(chǔ)應(yīng)用物理部署隔離，確保普通應(yīng)用不干擾在線應(yīng)用；通過Hfile文件實現(xiàn)兩個集群間的數(shù)據(jù)遷移，減輕在線應(yīng)用集群負(fù)擔(dān)；統(tǒng)一管理多套集群，并可對多套集群運(yùn)行指標(biāo)進(jìn)行縱向?qū)Ρ取?/p>
- 資源隔離
數(shù)據(jù)隔離：平臺上同時運(yùn)行多個應(yīng)用程序，從應(yīng)用數(shù)據(jù)輸入、程序運(yùn)行、應(yīng)用運(yùn)行中間數(shù)據(jù)，到程序結(jié)果都通過權(quán)限做隔離，避免應(yīng)用程序之間出現(xiàn)數(shù)據(jù)干擾。
避免過度空間占用：配置應(yīng)用級別HDFS使用配額，避免某應(yīng)用程序占用過多空間。
避免超長占用計算資源：支持MapReduce程序運(yùn)行時間預(yù)判，通過測試環(huán)境和歷史數(shù)據(jù)自動評估運(yùn)行時長，如果實際運(yùn)行超過預(yù)估時間50%則進(jìn)行告警。
- 統(tǒng)一管理
中興通訊大數(shù)據(jù)產(chǎn)品提供統(tǒng)一管理。中興通訊面向ICT的組件化大數(shù)據(jù)平臺，專注于保障大數(shù)據(jù)業(yè)務(wù)的最終用戶使用體驗、促進(jìn)大數(shù)據(jù)業(yè)務(wù)的快速成長，至頂向下為大數(shù)據(jù)業(yè)務(wù)生態(tài)系統(tǒng)中涉及的各類管理對象提供統(tǒng)一的平臺管理保障。
中興通訊GoldenData大數(shù)據(jù)平臺產(chǎn)品在金融銀行和全球運(yùn)營商等市場具有多個成熟商用案例，具備良好的技術(shù)積累和豐富的工程現(xiàn)網(wǎng)實施經(jīng)驗。中興通訊愿在大數(shù)據(jù)時代下幫助客戶華麗轉(zhuǎn)型，實現(xiàn)數(shù)據(jù)掘金、價值共享。
