海量日志分析管理新工具

　　

　　1.云志簡介

　　

　　蟻巡云志，簡稱云志。云志是一個集中存儲、搜索和分析日志的工具，是一個基于大數(shù)據(jù)處理技術(shù)的SaaS服務(wù)平臺，提供了四大主要功能：日志集中存儲，實(shí)時(shí)監(jiān)測日志，快速搜索分析，及時(shí)發(fā)出告警。另外提供了日志數(shù)據(jù)的可視化，通過表格、圖表等形式展示日志的數(shù)量、級別、詳細(xì)信息等

　　

　　2.功能介紹

　　

　　2.1日志集中存儲：

　　

　　只需簡單的配置，即可將不同類型設(shè)備或應(yīng)用的日志接入到云志中，在瀏覽器中登錄云志即可查看所日志，實(shí)現(xiàn)一個系統(tǒng)存儲和管理所有日志的功能。

　　

　　2.2實(shí)時(shí)監(jiān)測日志：

　　

　　系統(tǒng)可以將設(shè)備或應(yīng)用的日志實(shí)時(shí)推送到監(jiān)測列中，在瀏覽器界面上可實(shí)時(shí)觀看設(shè)備或應(yīng)用的運(yùn)行過程。

　　

　　2.3快速搜索分析：

　　

　　系統(tǒng)采用大數(shù)據(jù)處理技術(shù)，能夠?qū)崿F(xiàn)毫秒級數(shù)據(jù)查詢。在此基礎(chǔ)上，實(shí)現(xiàn)數(shù)據(jù)分析功能，并提供分析結(jié)果的可視化，從而直觀的展示數(shù)據(jù)中隱藏的價(jià)值。

　　

　　2.4及時(shí)發(fā)出告警：

　　

　　用戶通過設(shè)置告警策略，預(yù)設(shè)可能出現(xiàn)的錯誤日志或者安全日志的關(guān)鍵字，當(dāng)日志中出現(xiàn)包含相關(guān)的關(guān)鍵字時(shí)，系統(tǒng)會通過短信或郵件的方式及時(shí)發(fā)送告警通知。

　　

　　3.價(jià)值特點(diǎn)

網(wǎng)站日志分析助手 　　

　　3.1減少1/4的研發(fā)工作量

　　

　　3.2加快產(chǎn)品上線進(jìn)程

　　

　　3.3加強(qiáng)產(chǎn)品運(yùn)營及運(yùn)維能力

　　

　　3.4挖掘并直觀展示海量日志價(jià)值

　　

　　4.創(chuàng)業(yè)支持計(jì)劃

　　

　　云志免費(fèi)為互聯(lián)網(wǎng)行業(yè)創(chuàng)業(yè)團(tuán)隊(duì)或企業(yè)提供3個月vip服務(wù)網(wǎng)站日志分析助手 ，期限可以根據(jù)實(shí)際情況做調(diào)整。

　　

　　LogMiner日志分析工具的使用

　　

　　1.安裝logminer：

　　

　　要安裝LogMiner工具，必須首先要運(yùn)行下面這樣兩個腳本，

　　

　　$ORACLE_HOME/rdbms/admin/dbmslm.sql

　　

　　$ORACLE_HOME/rdbms/admin/dbmslmd.sql.

　　

　　這兩個腳本必須均以SYS用戶身份運(yùn)行。

　　

　　*************使用字典文件存儲在flat file中*****************************

　　

　　2.創(chuàng)建數(shù)據(jù)字典文件

　　

　　ALTER SYSTEM SET UTL_FILE_DIR = 'd:\oracle\logmnr' SCOPE=SPFILE;

　　

　　重新啟動數(shù)據(jù)庫，使新加的參數(shù)生效，然后創(chuàng)建數(shù)據(jù)字典文件：

　　

　　EXECUTE dbms_logmnr_d.build(dictionary_filename => 'dirctionary.ora', dictionary_location => 'D:\oracle\logmnr',options => dbms_logmnr_d.store_in_flat_file);

　　

　　3.創(chuàng)建要分析的日志文件列表

　　

　　EXECUTE dbms_logmnr.add_logfile(LogFileName=>'c:\1_3814.dbf', Options=>dbms_logmnr.new);

　　

　　EXECUTE dbms_logmnr.add_logfile( LogFileName=>'c:\1_3815.dbf',Options=>dbms_logmnr.addfile);

　　

　　4.使用LogMiner進(jìn)行日志分析

　　

　　EXECUTE dbms_logmnr.start_logmnr(DictFileName=>'D:\oracle\logmnr\dirctionary.ora');

　　

　　***********************************************************************

　　

　　*************使用字典文件存儲在redo file中(推薦這種方法，不需要重啟數(shù)據(jù)庫)*****************************

　　

　　2.創(chuàng)建數(shù)據(jù)字典到redo file

　　

　　EXECUTE DBMS_LOGMNR_D.build(options => DBMS_LOGMNR_D.STORE_IN_REDO_LOGS);

　　

　　3.創(chuàng)建要分析的日志文件列表

　　

　　EXECUTE dbms_logmnr.add_logfile(LogFileName=>'c:\1_3814.dbf', Options=>dbms_logmnr.new);

　　

　　EXECUTE dbms_logmnr.add_logfile( LogFileName=>'c:\1_3815.dbf',Options=>dbms_logmnr.addfile);

　　

　　4.使用LogMiner進(jìn)行日志分析

　　

　　EXECUTE DBMS_LOGMNR.start_logmnr(Options => DBMS_LOGMNR_D.STORE_IN_REDO_LOGS);

　　

　　********************************************************************************************************

　　

　　5.觀察分析結(jié)果

　　

　　CREATE TABLE temp AS SELECT * FROM v$logmnr_contents;

　　

　　6.終止日志分析事務(wù)，此時(shí)PGA內(nèi)存區(qū)域被清除，分析結(jié)果也隨之不再存在

　　

　　EXECUTE dbms_logmnr.end_logmnr();

　　

　　7.其他注意事項(xiàng)

　　

　　我們可以利用LogMiner日志分析工具來分析其他數(shù)據(jù)庫實(shí)例產(chǎn)生的重作日志文件，而不僅僅用來分析本身安裝LogMiner的數(shù)據(jù)庫實(shí)例的redo logs文件。使用LogMiner分析其他數(shù)據(jù)庫實(shí)例時(shí)，有幾點(diǎn)需要注意：

　　

　　1. LogMiner必須使用被分析數(shù)據(jù)庫實(shí)例產(chǎn)生的字典文件，而不是安裝LogMiner的數(shù)據(jù)庫產(chǎn)生的字典文件，另外必須保證安裝LogMiner數(shù)據(jù)庫的字符集和被分析數(shù)據(jù)庫的字符集相同。

網(wǎng)站日志分析助手 　　

　　2. 被分析數(shù)據(jù)庫平臺必須和當(dāng)前LogMiner所在數(shù)據(jù)庫平臺一樣，也就是說如果我們要分析的文件是由運(yùn)行在UNIX平臺上的Oracle 8i產(chǎn)生的，那么也必須在一個運(yùn)行在UNIX平臺上的Oracle實(shí)例上運(yùn)行LogMiner，而不能在其他如Microsoft NT上運(yùn)行LogMiner。當(dāng)然兩者的硬件條件不一定要求完全一樣。

　　

　　3. LogMiner日志分析工具僅能夠分析Oracle 8以后的產(chǎn)品，對于8以前的產(chǎn)品，該工具也無能為力。

　　

　　8.對于oracle 10g在使用logmnr時(shí)必須提前設(shè)置SUPPLEMENTAL LOG DATA

　　

　　ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY, UNIQUE INDEX) COLUMNS;

　　

　　刪除SUPPLEMENTAL LOG DATA功能

　　

　　網(wǎng)站診斷分析工作中常用的幾個工具

　　

　　對于網(wǎng)站診斷來說，由于要診斷網(wǎng)站在搜索引擎中的表現(xiàn)和網(wǎng)站異常，那么在對索引、鏈接指向和蜘蛛抓取等方面的分析就顯得很重要。Google管理員工具不但提供了完善的數(shù)據(jù)分析，還能指出網(wǎng)站存在的問題。在診斷分析工作中，37網(wǎng)絡(luò)認(rèn)為用的最多的三個欄目是：搜索流量、Google索引和抓取。搜索流量欄目中我們可以查詢到關(guān)鍵詞搜索查詢、鏈接和手動操作。值得一提的是，指向您網(wǎng)站的鏈接功能尤其給力;不但可以詳細(xì)檢測出與自己網(wǎng)站鏈接的對象，還能通過鏈接次數(shù)最多的內(nèi)容順藤摸瓜找出源頭網(wǎng)站(這一點(diǎn)在分析惡意外鏈的時(shí)候特別有用)。

　　

　　另外，可能由于Google數(shù)據(jù)庫過于龐大，內(nèi)部鏈接功能有些滯后，相當(dāng)一部分鏈接還可能是上一兩個月的舊網(wǎng)址。Google索引狀態(tài)中高級功能還能看到編入索引和被robots.txt阻止的頁面數(shù)。內(nèi)容關(guān)鍵詞則是單個關(guān)鍵詞在頁面中呈現(xiàn)的重要性。抓取欄目又是一大強(qiáng)勁工具。37網(wǎng)絡(luò)在分析網(wǎng)站錯誤和訪問異常的時(shí)候，習(xí)慣使用抓取欄目的工具;抓取錯誤包含DNS、服務(wù)器連接、Robots.txt抓取、網(wǎng)址錯誤羅列都非常詳細(xì)。Google是分析搜索引擎抓取頁面的過程。這是一個非常詳細(xì)的數(shù)據(jù)呈現(xiàn)，在模擬搜索引擎的時(shí)候用得著。

　　

　　百度站長工具

　　

　　在國內(nèi)百度搜索引擎是老大，很多排名工作也是圍繞百度展開的。因此百度站長工具也就成了廣大站長診斷分析網(wǎng)站的首選。 百度站長工具有些功能是模仿Google管理員工具的(比如最近推出的抓取診斷工具)。不過百度站長工具更符合國內(nèi)用戶習(xí)慣。網(wǎng)站診斷工作中，我們最多用到的是網(wǎng)站分析欄目的工具。比如百度索引量、關(guān)鍵詞、抓取異常、外鏈等。可以查看索引量變化，近期是否有劇烈動蕩;抓取是否異常，近期網(wǎng)站和網(wǎng)址是否異常;外鏈分析是一個比較有用的功能，可以分析出是否有惡意外鏈，還能批量拒絕外鏈。

　　

　　SEO綜合查詢

　　

　　SEO綜合查詢工具想必是幾乎所有站長在網(wǎng)站優(yōu)化中必備的工具了。如果上述兩種工具是較私密的網(wǎng)站數(shù)據(jù)外，那么SEO查詢工具查詢出來的則是優(yōu)化中公開的數(shù)據(jù)了。在診斷分析工作中，37網(wǎng)絡(luò)建議大家著重要檢查的就是網(wǎng)站設(shè)置，關(guān)鍵詞選取和搭配，site數(shù)量，百度權(quán)重(主要是排名問題)，快照時(shí)間和可視化的鏈接表現(xiàn)。SEO綜合查詢工具集當(dāng)然不僅僅是這些，還有很多細(xì)節(jié)上的查詢在網(wǎng)站診斷中也需要注意，比如模擬搜索引擎，長尾關(guān)鍵字，同IP查詢諸如此類。

　　

　　xenu

　　

　　網(wǎng)站診斷中鏈接分析是很重要的一環(huán)。雖然在Google管理員工具中有內(nèi)部鏈接的分析，但談到專業(yè)性的內(nèi)鏈分析，那就應(yīng)該使用xenu了，雖然在一些朋友意識中這是死鏈接分析工具。它是一個強(qiáng)大的網(wǎng)站內(nèi)鏈分析工具。當(dāng)然xenu在分析站內(nèi)死鏈接上尤其有名，能全方位挖掘出網(wǎng)站內(nèi)部隱藏鏈接和死鏈接。xenu可以詳細(xì)分析出網(wǎng)站站內(nèi)鏈接的指向，讓我們分析出網(wǎng)站鏈接到哪里，哪些鏈接指向這個頁面，這也有利于分析網(wǎng)站權(quán)重的分配。

　　

　　opensiteexplorer

　　

　　在分析網(wǎng)站排名問題的時(shí)候，不但要分析內(nèi)鏈的建設(shè)和搭配，還要了解網(wǎng)站的外鏈。當(dāng)然現(xiàn)在還沒有一個工具可以完全分析出競爭對手的所有外鏈。但，我們?nèi)匀挥泻馨舻逆溄臃治龉ぞ遫pensiteexplorer。這是國外的一款分析工具。運(yùn)行速度并不快，而且查詢出來的數(shù)據(jù)并不一定新。37網(wǎng)絡(luò)提醒大家本工具中還有詳細(xì)的參數(shù)可以設(shè)置，比如錨文本、只nofollow、導(dǎo)入鏈接等。在對競爭對手網(wǎng)站分析的時(shí)候是一個比較實(shí)用的外鏈分析工具。

　　

　　光年日志分析系統(tǒng)

　　

　　這個不用說，想必大家也都知道，在網(wǎng)站日志分析的時(shí)候，用的很多很有名的日志分析系統(tǒng)。網(wǎng)站分析離不開分析網(wǎng)站日志。這涉及到蜘蛛來訪，抓取和異常問題，很多的問題都已經(jīng)詳細(xì)記錄在網(wǎng)站日志里了。我們要做的就是通過日志分析系統(tǒng)分析網(wǎng)站狀況。不過想必大家也知道，很多虛擬主機(jī)的控制后臺都有日志下載功能，這對網(wǎng)站診斷工作節(jié)省了不少工作量。

　　

　　流量統(tǒng)計(jì)工具

　　

　　我們所說的網(wǎng)站流量統(tǒng)計(jì)工具可能并不局限于一種。37網(wǎng)絡(luò)之所以沒有列出一個代表性的流量統(tǒng)計(jì)工具，是因?yàn)橐话阄覀兘ㄕ局蠖紩惭b統(tǒng)計(jì)代碼，用以分析網(wǎng)站流量。常用的CNZZ、百度統(tǒng)計(jì)、51啦等。這些統(tǒng)計(jì)后臺每天都有詳細(xì)的記錄，對獨(dú)立訪客、搜索關(guān)鍵詞、頁面受訪等數(shù)據(jù)都有詳細(xì)的記載。在對流量分析和用戶分析的時(shí)候是不可或缺的幫手。