人民網貴陽5月26日電 2016中國大數據產業峰會暨中國電子商務創新發展峰會（以下簡稱“數博會”）于5月25日至29日在貴陽舉辦。京東集團首席技術顧問翁志發言中表示，需要建立一個立體的體系，用大數據決策方式進行一個數據的過濾，進行數據的分析，來找出漏洞。
翁志在發言中指出，數據隱私，像數據倉庫，因為我們數據越來越龐大，這個數據泄露的可能性也是方方面面。我們要對這個數據進行保密、保護，用什么方法呢？就是用數據加密的方式，存取要控制，形成日志，我們系統要能夠進行日志的回溯，可以回溯到過去的某一個節點。數據管理，包括事務日至，數據審計，數據源的控制，完整性，點對點驗證與過濾，實時監控。還有包括監控的問題京東商品采集器。
以下為發言全文：
謝謝主持人。各位來賓下午好！今天我給大家分享的是數據分析在信息安全中的應用。這個會的主題是大數據，但是我把這個大數據變成了一個賓語，用大數據的方式去解決安全上的問題。我們來看數據的變化，形式，原來我們的數據都是在紙上，現在我們的數據是在網上，而是放在更魔幻的，虛擬的，大家看不到的Cloud里面，數量，原來處理的數據都是一個小磁盤，3.5寸的就可以放很多的信息，我們現在處理的都是巨大數量級的數據。
看看我們面臨的安全問題。在PC時代，我們主要面臨的問題就是病毒，惡意軟件，還有就是有人偷盜你的機器，可以把機器給破解，身份有被盜取的危險。在云時代，我們的數據放在虛無縹渺的云上，但是云端數據就安全嗎？我們有網絡劫持、DOS、注入攻擊、旁路攻擊、驗證攻擊、中間人加密攻擊。驗證攻擊可以撞庫和脫庫，中間人加密的攻擊，我們網絡很多情況下可以變成加密的網絡，但是處于中間人的狀態可以在之間來混淆認證的。
我們來看看云時代的數據安全是怎么做的？有四個部分，架構安全，云的安全是分布式的方式，一個節點可以包括更多的機器，包括更多虛擬化的在里面，我們面臨的問題就是架構安全的問題，怎樣使我們的網絡體系當中的每個節點都是安全的。還有就是數據安全，大家知道關系型數據，經常放在數據庫當中，它有一定的安全基準，但是我們更多的大數據是放在非結構化的數據，大家經常使用的是一些集群，集群的數據安全就是一個很重要，對我們是一個威脅，怎樣使得數據變得更安全。數據隱私，像數據倉庫，因為我們數據越來越龐大，這個數據泄露的可能性也是方方面面。我們要對這個數據進行保密、保護京東商城信息采集，用什么方法呢？就是用數據加密的方式，存取要控制，形成日志，我們系統要能夠進行日志的回溯，可以回溯到過去的某一個節點。數據管理，包括事務日至，數據審計，數據源的控制，完整性，點對點驗證與過濾，實時監控。還有包括監控的問題。
傳統的安全方式能夠解決我們現在所謂的APT式的攻擊嗎？對于這種帶有非常深的隱蔽性的攻擊，而且可能產生很大的時間，我們做過這種測試的，隨便選一個公司，選我們公司內部的四個賬號，通過電子郵件就可以讓它中毒，而且可以去盜取他的信息。基本上命中率是50%以上。所以說我們大家其實都是面臨在一個危險之中的。
我們現在的數據防范措施是如何的呢？我們不再是一個點對點的防范了，我們面臨的問題，是一個層級的問題，而不是一個局部的問題。同時，單點的問題，我們更多看到的是立體防御，要從一個立體的角度，方方面面來考慮這個問題。感知的，就是我們的數據，其實泄露，這些信息是可以通過一些方法來進行分析，這也是可以用到大數據處理的地方。比如說流量的異常，可能是發生了一些問題。如何打造基于大數據分析的安防體系？我們做安全怎么去防范的？我們的目的不是說要僅僅去防范一個點，一個線，其實大家可能也看過一篇谷歌的文章，他們已經變成每個機器有數字認證的方式，所以他認為是進行數據完整的保護。
對于我們來說，我們其實是需要建立一個立體的體系，用大數據決策方式進行一個數據的過濾，進行數據的分析，來找出漏洞。這里大家可以看到，我們能夠涉及到其中的哪些方面呢？比如說訂單，訂單信息，每天都是生成大量的個人用戶信息。對于這些訂單信息，我們會分析到底是一個什么呢？是黃牛呢？還是這個訂單是否帶有一些商業的運作？大家都知道，這是電商當中一個惡疾，其實對于我們也是一個傷害，我們都要對這些數據進行分析，賬戶體系，每個互聯網公司都擁有大量的賬戶，這些賬戶要泄露，對于用戶和公司來說都是致命的問題。所以我們對數據要承擔100%的責任。所以這方面我們會非常非常的小心。
包括事務日志，這些日志可以幫助我們分析當時的體系是否是當時在數據處理的時候，是否是正常的京東商品信息采集，或者是否有被攻擊的可能。爬蟲，大家知道現在隨著競爭愈發激烈，有很多的爬蟲流量，這對我們來說是一個成本，我們會對這方面進行保護，我們會把爬蟲流量進行剔除掉，漏洞管理，大家知道每個體系、每個應用不是完美的，都是有很多的漏洞。對于漏洞用人工的方式進行一個自動化的挖掘，數據會打通和聯合。DDos，它的應急響應，對于我們友商之間對于數據的保護是有共同的立場，我們之間是應該有這種默契的。對于一些賬號，對于一些非法用戶我們會進行一個信息的流通，來保護我們的用戶，來回饋用戶的信任。
像我們的網絡，還有像服務器，都會提供日志，這個日志會幫助我們回溯到以前的狀態，這對我們分析問題的發生都是非常有利的。看一下我們的數據，數據的來源是方方面面的，這些數據我們要進行一個很大的存儲，進行分類，分布式處理系統，只能用大數據的方式解決安全的問題。分析，分析是有建模的過程，有分析、統計概率的方面來做，目的就是要進行把異常的信息和不正常的信息我們會進行一個處理，分為實時和離線，對于離線部分，注入更復雜的工作，實時部分，可以實時的反饋，及時發現流量，產出，就是變成決策的，進行安全的維護。
看看日志的采集，涉及到方方面面，對于數據加密，大家知道數據如果是處于非加密的狀態，它在任何數據傳輸的時候，都有風險丟失的。我們用什么方法來做呢？用HTTPS，它是指我們在通過HDP協議網絡傳輸過程當中，有一個安全的保證。當然HTTPS也有很多認證的機制，這個機制也有一些方法。RPC加密，其實對于數據的泄露，可能是一個威脅。因為它容易被人忽視，在一個系統當中，或者在一個數據中心內部，數據都是很容易被這種方式進行攻擊的。敏感數據加密，涉及到用戶的身份證、電話號碼這些數據，我們認為是敏感數據，所以我們要做特殊的保護，要進行一個更安全的加密機制。所以要用一個KeyServer進行保護，服務器運算節點都形成一個認證，這個認證來保證它不會被進行篡改。DDos，大家都知道，對于流量攻擊，對它的攻擊我們都會進行一個分析，把這些打擊流量給扔掉。這是注入，大家已經在生活當中遇到很多了。風控系統，對于我們來說，對于電商來說，我們對于風控系統看的非常非常重要，因為對于用戶的信息，我們要進行一個風控的把握，所以對它的風控系統進行一個控制，要進行實時分析，如果這個用戶賬號被盜用了，我們會加更嚴格的驗證方式，保護用戶的財產。
京東商城信息采集 網絡劫持，從DNS，這些在公網上的信息系統其實是非常脆弱的，經常會被，一是人為的錯誤，二是被經常攻擊，經常發現有這種DNS被劫持的現象。拿到的信息并不是你想訪問的信息，甚至是友商的網站。而網絡包，在網絡傳輸的時候，它的網絡包是可以進行一個濾過的，這個濾過，它可以做廣告的劫持，可以做廣告的注入，所以會有一些商業行為的，在網絡劫持當中的應用。這些應用對于用戶，對于我們用戶來說是一個傷害，對于我們的電商體系也是一個威脅。還有一個就是我們現在開源管理軟件，我們用的系統，都是用的開源軟件，這些開源軟件因為是曝露在大庭廣眾之下的，它總是會有一些不安全的因素在里面，大家也在過往當中碰到很多的產品，有安全上的隱患，如果這個安全隱患不能夠馬上被發現的話，很有可能會被不法分子進行利用。所以對于這種軟件的管理也是一個很重要的事情。幫助我們來進行有效的系統的安全的防護。還有監控，大家知道監控，沒有監控我們的系統就是會處于一個非常不穩定的狀態，所以監控在安全體系當中也是非常非常重要的。應急響應，這是人為的機制，這是友商之間進行一個信息的互通互聯。
還有就是安全知識培訓，我們的程序員需要對安全有一個了解，才能寫出比較好的代碼。好京東商品信息采集，今天我給大家分析的就這些京東商品采集器。
文章地址：http://www.brucezhang.com/article/online/jdwzksjdcjqdysjdeyyt.html
