“大數(shù)據(jù)(Big Data)”的概念在過去幾年里引起了各個行業(yè)的充分關注。以信息處理能力作為核心競爭力之一的商業(yè)銀行,如能引入大數(shù)據(jù)的理念和相關技術,將有效提升自身的信息化水平,促進信息化銀行的建設和發(fā)展。因此,有必要基于商業(yè)銀行經營特點和現(xiàn)有IT架構,對“大數(shù)據(jù)”的概念加以分析和探討。本文以商業(yè)銀行的視角,從大數(shù)據(jù)的核心思想、數(shù)據(jù)特點、技術要領、實施要點四個方面切入,以六組問答的形式對商業(yè)銀行大數(shù)據(jù)相關的思想、概念、方法、對策等進行辨析和討論。
大數(shù)據(jù)的核心在于“大”嗎?
體量大、維度高、形態(tài)多、價值高但密度低是公認的大數(shù)據(jù)四大特點(即大數(shù)據(jù)的“4V”定義)。需要指出的是,這四大特點的概括,是出于理論研究的需要,對“數(shù)據(jù)”本身特點進行的概括。而對于商業(yè)銀行的業(yè)務應用而言,則應從具體效用的角度來理解大數(shù)據(jù)思想及技術。
大數(shù)據(jù)之于商業(yè)銀行,在于對既有數(shù)據(jù)分析系統(tǒng)的升級,顯著提升數(shù)據(jù)分析和商業(yè)決策的效率。大數(shù)據(jù)的思想追求數(shù)據(jù)在商業(yè)決策中的“無處不在”,講求數(shù)據(jù)分析與具體業(yè)務的緊密銜接。從商業(yè)智能(BusinessIntelligence, BI)的角度來看,大數(shù)據(jù)技術是原有BI的升級,將傳統(tǒng)的“具體業(yè)務—商業(yè)數(shù)據(jù)—BI分析—報表—決策—具體業(yè)務”的BI流程進行了再造,壓縮了整個流程的信息鏈條,同時提升了鏈條各個環(huán)節(jié)及整體的運轉效率。
大數(shù)據(jù)之于商業(yè)銀行,在于提供了一種有效的手段,提高商業(yè)銀行對客戶的理解與認知能力。大數(shù)據(jù)技術支持商業(yè)銀行對大量日志數(shù)據(jù)進行統(tǒng)計和建模,從而了解客戶的行為習慣、風險偏好、健康情況、消費能力、渠道喜好、信用狀況及人口統(tǒng)計學等多方面的信息,進而為客戶“貼標簽”、“畫像”;亦可整合多種信息反饋渠道的數(shù)據(jù),幫助商業(yè)銀行實時關注、理解客戶的真正業(yè)務需求。
大數(shù)據(jù)之于商業(yè)銀行,在于能夠低成本、批量地實現(xiàn)較高水準的個性化客戶服務,增加客戶粘性。如能有效地將大數(shù)據(jù)分析系統(tǒng)與移動互聯(lián)網(wǎng)技術、線上線下一體化服務體系進行緊密融合,就可為商業(yè)銀行的客戶提供“千人千面”的個性化服務。例如,對于低凈值長尾客戶,可用較低的成本,批量化地通過電子渠道提供隨身的知心服務,提高產品和服務的覆蓋率;對于高凈值客戶,提供“客戶經理+電子渠道”的隨身貼心服務,提升客戶的業(yè)務貢獻。
可見,從具體效用的角度來看,衡量一個商業(yè)銀行是否真正應用了大數(shù)據(jù)、發(fā)揮了大數(shù)據(jù)的價值,就是要看其大數(shù)據(jù)系統(tǒng)是否能夠顯著提升數(shù)據(jù)分析和商業(yè)決策的效率,是否能夠提高對客戶的理解與認知能力,是否能夠低成本、批量地實現(xiàn)較高水準的個性化客戶服務。如果商業(yè)銀行的大數(shù)據(jù)系統(tǒng)未能實現(xiàn)上述效用,那就需要認真審視自身的大數(shù)據(jù)戰(zhàn)略并加以調整。
大數(shù)據(jù)就是外部數(shù)據(jù)嗎?
在國內,以阿里、騰訊、百度為代表的互聯(lián)網(wǎng)企業(yè),以各自的核心業(yè)務(例如,阿里的電子商務、騰訊的社交娛樂、百度的網(wǎng)絡搜索)為切入點,通過并購、自主開發(fā)等方式,不斷推出種類繁多的網(wǎng)絡服務,在網(wǎng)絡空間中搭建了“全業(yè)務”的數(shù)據(jù)平臺,收集了海量的客戶數(shù)據(jù),并以此為基礎開發(fā)出了一系列客戶征信、消費貸款、網(wǎng)絡保險等大數(shù)據(jù)產品,向商業(yè)銀行的相關產品提出挑戰(zhàn)。
與上述互聯(lián)網(wǎng)企業(yè)相比,商業(yè)銀行在網(wǎng)絡空間中缺少類似的“全業(yè)務”平臺,因此短期內難以依靠自身的電子渠道獲取類似的客戶信息。對此,商業(yè)銀行是否應該將大數(shù)據(jù)的戰(zhàn)略重點放在從自身體系之外獲取客戶數(shù)據(jù)呢?應從以下三個角度進行分析。
數(shù)據(jù)價值的角度。京東白條、天貓分期、阿里小貸、支付寶運費險、百分點個人征信、金電聯(lián)行“企業(yè)客觀信用”等業(yè)務的成功實踐已經驗證了互聯(lián)網(wǎng)客戶大數(shù)據(jù)在維度、粒度、活性方面的優(yōu)勢和價值,如果這些數(shù)據(jù)能與商業(yè)銀行的既有數(shù)據(jù)進行融合分析,將有望獲得更加精準的數(shù)據(jù)分析結果。
自身大數(shù)據(jù)體系的建設。一方面,應以內部數(shù)據(jù)為重點,做好自身既有數(shù)據(jù)的價值深鉆和分析架構的大數(shù)據(jù)改造,而不應以引入外部數(shù)據(jù)作為大數(shù)據(jù)發(fā)展的戰(zhàn)略重點;另一方面,要放開眼界,積極引入外部數(shù)據(jù),增強商業(yè)銀行與互聯(lián)網(wǎng)企業(yè)IT架構方面的交流,以期加快自身大數(shù)據(jù)體系的建設進度,提升其兼容性與可用性。
數(shù)據(jù)交換的合規(guī)性。客戶在使用互聯(lián)網(wǎng)服務期的行為信息、購物記錄、健康信息等數(shù)據(jù)理應屬于隱私數(shù)據(jù),客戶在注冊期間簽署的網(wǎng)絡服務協(xié)議是否能夠有效支持互聯(lián)網(wǎng)企業(yè)采集、商用并交換,尚屬法律空白。因此,商業(yè)銀行在引進外部數(shù)據(jù)之前,應首先做好合規(guī)工作。
可見,對于商業(yè)銀行而言,合規(guī)合理地引入外部數(shù)據(jù),有助于提升自身數(shù)據(jù)的多樣性、細化數(shù)據(jù)粒度,并可通過數(shù)據(jù)交換提升自身大數(shù)據(jù)體系的兼容性與可用性。但是也應充分認識到,商業(yè)銀行多年積累的業(yè)務數(shù)據(jù)的價值還遠未完全發(fā)揮,尚待深鉆、分析和應用,應將基于內部數(shù)據(jù)的分析應用作為當前自建大數(shù)據(jù)能力的核心;與此同時,也要及時開展預研預估,做好外部數(shù)據(jù)交換的合規(guī)準備工作,為“內外兼修”的大數(shù)據(jù)平臺建設做好準備。
大數(shù)據(jù)是否等同于非結構化數(shù)據(jù)?
“非結構化數(shù)據(jù)”是在大數(shù)據(jù)的“4V”定義中作為數(shù)據(jù)多樣性的一個典型例子而被提出的,因此受到了普遍關注,在眾多關于大數(shù)據(jù)的文獻中,“非結構化數(shù)據(jù)”也占據(jù)著比較重要的地位。那么,商業(yè)銀行是否也應將“非結構化數(shù)據(jù)”的處理作為現(xiàn)階段自建大數(shù)據(jù)體系的重點?
對于這一問題,要結合“非結構化數(shù)據(jù)”的特性進行分析。非結構化數(shù)據(jù)的本質特性是所包含信息的豐富、復雜程度遠遠高于結構化數(shù)據(jù)。典型的“非結構化數(shù)據(jù)”包括文本、音樂、語音、圖像、視頻等類型的數(shù)據(jù),這些數(shù)據(jù)所包含的信息極其豐富,不能使用數(shù)據(jù)表進行無損耗轉化。因此,非結構化數(shù)據(jù)無法使用數(shù)據(jù)表或者類似的結構化的方式進行無損轉化,所以只能以數(shù)據(jù)包、文件集的方式進行存儲,也無法使用與結構化數(shù)據(jù)相同的數(shù)據(jù)分析方法進行統(tǒng)計、分析、建模,往往需要通過專門設計的預處理算法將其轉化為結構化數(shù)據(jù)。這就增加了數(shù)據(jù)管理和分析的難度,也提高了對數(shù)據(jù)存儲、計算資源的需求。對于非結構化數(shù)據(jù)的分析,至今仍是學術界的研究熱點,在學術領域尚屬“進行時”,在商用領域的應用則更是鳳毛麟角。
可見,現(xiàn)階段自建大數(shù)據(jù)體系,對于非結構化數(shù)據(jù)應按照“量體裁衣”的原則,根據(jù)自身IT架構的存儲、計算資源和技術人員投入分步實施。對于資源緊張的商業(yè)銀行,可采取“存儲—外購預處理模塊—自行研發(fā)”三步走的路徑積累非結構化數(shù)據(jù)的分析能力;對于資源較豐富的商業(yè)銀行,則可按照“預研一批、實用一批、儲備一批”的策略,采用“外購預處理模塊+產學研合作+自行研發(fā)”的方式進行嘗試,緊跟技術前沿,適時引入成熟的非結構化處理技術(例如語音識別技術、基于詞頻統(tǒng)計的自然語音理解技術等),但也應注意資源配比,不應將非結構化數(shù)據(jù)作為現(xiàn)階段自建大數(shù)據(jù)體系的重點。
如前所述,商業(yè)銀行是否具備大數(shù)據(jù)能力,應依據(jù)數(shù)據(jù)及數(shù)據(jù)分析系統(tǒng)所發(fā)揮的具體效用來判斷。以“顯著提升數(shù)據(jù)分析和商業(yè)決策的效率”,“顯著提高對客戶的理解與認知能力”,“低成本、批量地實現(xiàn)較高水準的個性化客戶服務”三條標準來衡量,目前商業(yè)銀行數(shù)據(jù)倉庫建設還需在以下幾個方面加以強化。
建設異構的數(shù)據(jù)倉庫平臺。多年來,商業(yè)銀行的數(shù)據(jù)倉庫以存儲業(yè)務、交易數(shù)據(jù)為主,因此采購了存儲成本較高的專業(yè)數(shù)據(jù)倉庫服務,數(shù)據(jù)在進入倉庫之前的ETL規(guī)則相對比較嚴格,并采用了“時間換空間”的策略進行主題拆分以節(jié)約存儲空間,這就導致在執(zhí)行諸如交易鏈恢復、交易場景還原等分析任務時消耗較高的計算資源,降低整體的分析效率。與用戶行為數(shù)據(jù)緊密相關的日志數(shù)據(jù),具有典型的“數(shù)據(jù)量大、頻度高但價值密度低”的特點,可針對這一需求,搭建低成本的PC集群、內存數(shù)據(jù)庫等,與既有的數(shù)據(jù)倉庫融合起來,構成對數(shù)據(jù)源和分析端透明的異構數(shù)據(jù)倉庫,提高其響應速度和處理能力。
搭建業(yè)務指標提取邏輯的共享平臺。目前商業(yè)銀行基礎數(shù)據(jù)的標準化工作已經取得了長足的進展,但在實際應用中,尚存在“業(yè)務邏輯信息孤島”現(xiàn)象(即由于缺乏一個共享平臺,而造成不同的分析師之間無法互通業(yè)務指標的提取邏輯,每個分析師、每個數(shù)據(jù)分析部門就形成了一座座孤島)。這一現(xiàn)象不僅造成業(yè)務指標“多態(tài)”問題,也誘發(fā)了數(shù)據(jù)倉庫訪問請求的重復提交,影響數(shù)據(jù)分析的效率和準確性,因此需盡快搭建權限控制合理的業(yè)務指標提取邏輯分享平臺,解決“業(yè)務邏輯信息孤島”問題。
建立由信息治理部門主導、以業(yè)務部門為中心的大數(shù)據(jù)創(chuàng)新立項機制。大數(shù)據(jù)應用要求盡量壓縮數(shù)據(jù)分析業(yè)務鏈條,進一步提高具體業(yè)務與數(shù)據(jù)分析環(huán)節(jié)結合的緊密程度,對此,可以探索建立由信息治理部門主導、以業(yè)務部門為中心的大數(shù)據(jù)創(chuàng)新立項機制。簡言之,就是將數(shù)據(jù)分析師融入具體業(yè)務部門,由數(shù)據(jù)分析師和具體業(yè)務部門共同發(fā)起大數(shù)據(jù)應用的創(chuàng)新項目立項,經信息治理部門審批后,給予相應的計算資源,并依據(jù)數(shù)據(jù)應用項目在具體業(yè)務中產生的效果進行評估和激勵。
大數(shù)據(jù)只需要海杜普平臺嗎?
Apache 軟件基金會(ASF)旗下的海杜普(Hadoop)開源項目對于大數(shù)據(jù)應用無疑有著巨大的推動作用,基于Hadoop的HDFS系統(tǒng)也是目前主流大數(shù)據(jù)平臺的重要基礎設施,那么是不是有了Hadoop平臺,商業(yè)銀行就擁有了大數(shù)據(jù)處理能力了呢?
首先,從軟硬件平臺的完備性來看,還需持續(xù)投入,配置更多的軟件模塊,以提升大數(shù)據(jù)分析平臺的能力。Hadoop只是大數(shù)據(jù)分析平臺的基礎設施,除了基于Hadoop及Yarn的Hive、HBase、Pig、Storm之外,mahout、Hadoop-R、Hadoop-weka等數(shù)據(jù)分析、數(shù)據(jù)挖掘套件對于大數(shù)據(jù)分析也是必不可少的,另外速度更快、性能更高的Spark體系也在互聯(lián)網(wǎng)企業(yè)獲得了成功的應用,值得商業(yè)銀行關注和借鑒。
其次,從數(shù)據(jù)的來源來看,還需改造前端,以獲取更多維度、更高頻次、更細粒度的數(shù)據(jù)。商業(yè)銀行的數(shù)據(jù)分析系統(tǒng)長期以來重視業(yè)務數(shù)據(jù)的存儲,而對于系統(tǒng)運行狀態(tài)的日志、客戶個人信息的收集并不重視,而這些信息恰恰是大數(shù)據(jù)分析得以理解客戶、排查業(yè)務問題的關鍵所在。因此,商業(yè)銀行需要系統(tǒng)性地進行應用前端改造,借鑒互聯(lián)網(wǎng)企業(yè)、電商企業(yè)的做法,設法獲取更多維度、更高頻次、更細粒度的數(shù)據(jù),更好地滿足大數(shù)據(jù)分析對數(shù)據(jù)源的需求。
最后,從項目的執(zhí)行過程來看,還須形成“數(shù)據(jù)分析+業(yè)務應用”的數(shù)據(jù)分析模式,以迭代方式優(yōu)化分析結果和具體業(yè)務。傳統(tǒng)的BI模式下,數(shù)據(jù)分析的業(yè)務流程可以概括為:接受業(yè)務部門提出的分析需求=>數(shù)據(jù)分析=>形成報告。而大數(shù)據(jù)分析的很多項目需要數(shù)據(jù)分析師與業(yè)務人員一起進行持續(xù)迭代,有的項目甚至很難確立一個明確的終止時間點(例如電商的推薦系統(tǒng)一般由一個團隊持續(xù)優(yōu)化),這就需要商業(yè)銀行能夠允許在特定的大數(shù)據(jù)分析項目上,采取“數(shù)據(jù)分析+業(yè)務應用”的數(shù)據(jù)分析模式,以迭代方式優(yōu)化分析結果和具體業(yè)務。
可見,Hadoop平臺并不是商業(yè)銀行具備大數(shù)據(jù)能力的充要條件,商業(yè)銀行不僅需要在軟硬件平臺上持續(xù)投入,還需要在前端設計、數(shù)據(jù)分析模式等方面加以改造,才能更加適應大數(shù)據(jù)分析的要求。
大數(shù)據(jù)只是數(shù)據(jù)分析部門的事?
如前所述,大數(shù)據(jù)能力是以數(shù)據(jù)分析為基礎的,融合商業(yè)決策、客戶感知、個性化服務為一體的綜合競爭力,因此,大數(shù)據(jù)能力建設就不應僅由數(shù)據(jù)分析部門來承擔。
要從戰(zhàn)略層面將大數(shù)據(jù)能力建設納入發(fā)展規(guī)劃。應做好頂層設計,把大數(shù)據(jù)能力建設與信息化銀行建設結合起來,與線上線下一體化建設結合起來,與互聯(lián)網(wǎng)金融發(fā)展戰(zhàn)略結合起來,協(xié)同業(yè)務、渠道、科技、數(shù)據(jù)分析等多個部門,做好頂層設計和統(tǒng)籌規(guī)劃,形成“全員大數(shù)據(jù)”的氛圍,從數(shù)據(jù)源梳理、數(shù)據(jù)分析平臺搭建、分析模式確立、外部數(shù)據(jù)交換規(guī)則等多個層次制定明確的方針與操作標準,加快大數(shù)據(jù)能力建設的進度。
要重視數(shù)據(jù)分析流程的效率提升。大數(shù)據(jù)分析的效用大小,很大程度上取決于數(shù)據(jù)的活性以及分析結果投入具體業(yè)務的速度,因此,要盡可能壓縮傳統(tǒng)BI的業(yè)務鏈條�?稍陔娮忧篮妥灾辣M可能地實現(xiàn)數(shù)據(jù)采集與分析結果應用的一體化(例如,基于客戶個性的產品關聯(lián)推薦、基于場景的實時定價、自助設備界面?zhèn)性化自適應等),也可在傳統(tǒng)的BI領域中,應用大數(shù)據(jù)的處理模式,以高實時性的中間數(shù)據(jù)層為媒介,建立效率更高、實時性更強、管理者自定義程度更深的商業(yè)智能系統(tǒng),實現(xiàn)商業(yè)報表的實時化、移動化、定制化。
要重視人才儲備和技術積累。大數(shù)據(jù)技術的發(fā)展日新月異,數(shù)據(jù)的人才儲備和技術積累卻不能一蹴而就,需要相當力度的持續(xù)投入。人才儲備方面,應本著“引進一批,培養(yǎng)一批,儲備一批”的原則,引進一小批高層次技術人才,通過具體的項目實施,培養(yǎng)大量的存量技術人員,并通過面向高校和社會的大數(shù)據(jù)技術競賽、資助開源社區(qū)等方式,形成廣泛而有效的人才儲備。技術積累方面,應按照“開放并包,為我所用”的思路,組成大數(shù)據(jù)預研團隊,積極開展開源項目的篩選、驗證、吸收工作,沿著“引入并消化大數(shù)據(jù)開源項目—資助大數(shù)據(jù)開源項目—提出并主導大數(shù)據(jù)開源項目”的路徑,不斷強化自身在大數(shù)據(jù)技術方面的優(yōu)勢,形成自身的核心競爭力。
核心關注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理,全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域,是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網(wǎng)http://m.guhuozai8.cn/
本文標題:商業(yè)銀行如何玩轉大數(shù)據(jù)?
本文網(wǎng)址:http://m.guhuozai8.cn/html/consultation/10839318126.html