金融大數(shù)據(jù)分析的數(shù)據(jù)分流應用

隨著金融業(yè)務的互聯(lián)網(wǎng)化、移動化，如何進行精確的客戶營銷成為了金融業(yè)務發(fā)展的一個挑戰(zhàn)，相關的大數(shù)據(jù)挖掘、分析、可視化的探索也越來越多。但是在金融行業(yè)的數(shù)據(jù)應用環(huán)境中，在數(shù)據(jù)的采集、存儲和處理過程中，在數(shù)據(jù)安全性、完整性、業(yè)務管理全面性上，又有著嚴格的要求，如何有效的在風險和效率之間進行平衡，就是本次數(shù)據(jù)分流的應用討論的重點。

大數(shù)據(jù)蘊藏的價值被逐步挖掘出來，同時也帶來了巨大的挑戰(zhàn)，一是海量數(shù)據(jù)中的重復數(shù)據(jù)如何有效過濾，一是敏感信息如何有效的進行安全保護。在金融網(wǎng)絡可視化數(shù)據(jù)的采集、存儲過程中，在考慮采集數(shù)據(jù)完整的前提下，不可避免會收集到不同節(jié)點和位置區(qū)域的重復數(shù)據(jù)。而重復數(shù)據(jù)如何進行有效的預處理，是對后端各類分析系統(tǒng)或安全設備的性能和成本的重要挑戰(zhàn)。金融行業(yè)在大數(shù)據(jù)價值挖掘的基礎上，面臨如何保護數(shù)據(jù)中的隱私信息的問題，也是在數(shù)據(jù)仿真以及委托第三方數(shù)據(jù)分析時，必須解決的數(shù)據(jù)安全問題。

接下來本文就上述兩個方面的問題，進行分析探討，來尋找適合金融網(wǎng)絡數(shù)據(jù)分析環(huán)境中的解決方案。

首先是關于重復數(shù)據(jù)的產(chǎn)生、采集、過濾方面的分析。在網(wǎng)絡可視化部署中，很多數(shù)據(jù)采集是通過機架RACK的TOR設備，及業(yè)務區(qū)域的匯聚設備，和多個業(yè)務區(qū)的核心互聯(lián)設備上，均做到數(shù)據(jù)全量采集，這就不可避免的有重復數(shù)據(jù)。當采集流量通過網(wǎng)絡探針或者分流器，導流到后端的各類分析系統(tǒng)時，將面臨部分的重復數(shù)據(jù)，且重復率達到45%以上，這就大大增加了分析系統(tǒng)的I/0和CPU處理壓力，如果不做去重處理，那數(shù)據(jù)的分析效率會降低，并導致分析系統(tǒng)的硬件開銷增大。而對于按照分析總流量進行收費的NPM或APM，那多余的分析成本花費，是不可接受的。

因此必須要有在數(shù)據(jù)采集前端，能夠支持數(shù)據(jù)去重的設備或解決方案，來避免上述問題的發(fā)生。

邁普網(wǎng)視系列分流器配合多業(yè)務引擎技術，為此類場景提供專業(yè)的數(shù)據(jù)去重能力，為該需求提供解決方案。

該數(shù)據(jù)去重技術可以根據(jù)數(shù)據(jù)的payload、全數(shù)據(jù)或自定義規(guī)則進行數(shù)據(jù)比對，從而判斷是否有重復，然后做多余數(shù)據(jù)的過濾去重。邁普數(shù)據(jù)去重的多業(yè)務引擎技術可以幫助客戶把最關心的數(shù)據(jù)傳輸?shù)较冗M的大數(shù)據(jù)分析和安全分析解決方案中，從而幫助客戶減少需要分析的大數(shù)據(jù)總量，讓這些分析系統(tǒng)可以專注于提供豐富的、情景化的和深入的網(wǎng)絡分析，同時實現(xiàn)節(jié)約成本的目標。

其次是可視化分析不得不面臨敏感數(shù)據(jù)的安全問題。雖然金融很多數(shù)據(jù)在交易過程中經(jīng)過加密，但經(jīng)過一定算法和基線建模后，很多類似密碼等數(shù)據(jù)還是可以被破解的。常見的有: 姓名、身份證號碼、地址、電話號碼、銀行賬號、郵箱地址、所屬城市、郵編、密碼類 ( 如賬戶查詢密碼、取款密碼、登錄密碼等 )、組織機構名稱、營業(yè)執(zhí)照號碼、銀行帳號、交易日期、交易金額等等。在金融機構和政府等數(shù)據(jù)集中且頻繁使用的環(huán)境，必須考慮數(shù)據(jù)的敏感信息安全問題。

本文分析的數(shù)據(jù)脫敏的使用場景是基于非生產(chǎn)環(huán)境的中數(shù)據(jù)脫敏分析。在部分企事業(yè)單位和金融機構，擁有自屬的或第三方的開發(fā)團隊，經(jīng)常需要現(xiàn)網(wǎng)環(huán)境的真實數(shù)據(jù)在非生產(chǎn)環(huán)境(開發(fā)、外包、數(shù)據(jù)分析等)進行測試，尤其是需要在網(wǎng)的、實時的數(shù)據(jù)進行仿真模擬。

在數(shù)據(jù)采集后，如何把在網(wǎng)的實時的數(shù)據(jù)，脫敏后給仿真系統(tǒng)或第三方數(shù)據(jù)分析平臺，邁普數(shù)據(jù)脫敏的多業(yè)務引擎技術可以幫助此類場景落地。

邁普脫敏技術，是基于特定區(qū)域數(shù)據(jù)匿名化和去識別之類的不可逆數(shù)據(jù)掩碼方式進行脫敏。脫敏后的數(shù)據(jù)應具有原數(shù)據(jù)的特征，因為它們?nèi)詫⒂糜陂_發(fā)或測試場景。 帶有數(shù)值分布范圍、具有指定格式(如信用卡號前4位指代銀行名稱，或身份證號18位前4位為出生省份等)的數(shù)據(jù)，在脫敏后應與原始信息相似。姓名和地址等字段應符合基本的語言認知，而不是裁剪為無意義的字符串。因此需要避免使用數(shù)據(jù)的人員(數(shù)據(jù)分析師，BI工程師等)將某單位的數(shù)據(jù)確認為某個人的信息，而導致不良后果。脫敏技術通過對

數(shù)據(jù)進行脫敏，在一定程度上保證其無法根據(jù)數(shù)據(jù)反識別用戶，達到保證數(shù)據(jù)安全與最大化挖掘數(shù)據(jù)價值的平衡。

邁普長期專注于金融領域的業(yè)務研究，積累了大量IP數(shù)據(jù)的技術，依托全國產(chǎn)的硬件平臺，邁普針對金融大數(shù)據(jù)應用中常用的需求進行了技術創(chuàng)新，如數(shù)據(jù)去重、數(shù)據(jù)脫敏、數(shù)據(jù)切片等精細化的數(shù)據(jù)管理側的應用需求研究，可以提供完整的解決方案，為金融在線大數(shù)據(jù)采集，分發(fā)等提供預處理的能力，使金融的大數(shù)據(jù)運維和業(yè)務可視化系列應用更加敏捷的交付和部署。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。