什么是中文分詞?
眾所周知,英文是以詞為單位的,詞和詞之間是靠空格隔開,而中文是以字為單位,句子中所有的字連起來才能描述一個意思。例如,英文句子Iamastudent,用中文則為:“我是一個學生”。計算機可以很簡單通過空格知道student是一個單詞,但是不能很簡單明白“學”、“生”兩個字合起來才表示一個詞。把中文的漢字序列切分成有意義的詞,就是中文分詞,有些人也稱為切詞。
目前主流的中文分詞算法有以下3種:
1、基于字符串匹配的分詞方法
這種方法又叫做機械分詞方法,它是按照一定的策略將待分析的漢字串與一個“充分大的”機器詞典中的詞條進行配,若在詞典中找到某個字符串,則匹配成功(識別出一個詞)。按照掃描方向的不同,串匹配分詞方法可以分為正向匹配和逆向匹配;按照不同長度優先匹配的情況,可以分為很大(很長)匹配和很小(很短)匹配;按照是否與詞性標注過程相結合,又可以分為單純分詞方法和分詞與標注相結合的一體化方法。常用的幾種機械分詞方法如下:
1)正向很大匹配法(由左到右的方向);
2)逆向很大匹配法(由右到左的方向);
3)很少切分(使每一句中切出的詞數很小)。
還可以將上述各種方法相互組合,例如,可以將正向很大匹配方法和逆向很大匹配方法結合起來構成雙向匹配法。由于漢語單字成詞的特點,正向很小匹配和逆向很小匹配一般很少使用。一般說來,逆向匹配的切分精度略高于正向匹配,碰到的歧義現象也較少。統計結果表明,單純使用正向很大匹配的錯誤率為1/169
,單純使用逆向很大匹配的錯誤率為1/245。但這種精度還遠遠不能滿足實際的需要。實際使用的分詞系統,都是把機械分詞作為一種初分手段,還需通過利用各種其它的語言信息來進一步提高切分的正確率。
一種方法是改進掃描方式,稱為特征掃描或標志切分,優先在待分析字符串中識別和切分出一些帶有明顯特征的詞,以這些詞作為斷點,可將原字符串分為
較小的串再來進機械分詞,從而減少匹配的錯誤率。另一種方法是將分詞和詞類標注結合起來,利用豐富的詞類信息對分詞決策提供幫助,并且在標注過程中又反過來對分詞結果進行檢驗、調整,從而極大地提高切分的正確率。
2、基于理解的分詞方法
這種分詞方法是通過讓計算機模擬人對句子的理解,達到識別詞的效果。其基本思想就是在分詞的同時進行句法、語義分析,利用句法信息和語義信息來處理歧義現象。它通常包括三個部分:分詞子系統、句法語義子系統、總控部分。在總控部分的協調下,分詞子系統可以獲得有關詞、句子等的句法和語義信息來對分詞歧義進行判定,即它模擬了人對句子的理解過程。這種分詞方法需要使用大量的語言知識和信息。由于漢語語言知識的籠統、復雜性,難以將各種語言信息組織成機器可直接讀取的形式,因此目前基于理解的分詞系統還處在試驗階段。
3、基于統計的分詞方法
從形式上看,詞是穩定的字的組合,因此在上下文中,相鄰的字同時出現的次數越多,就越有可能構成一個詞。因此字與字相鄰共現的頻率或概率能夠較好的反映成詞的可信度。可以對語料中相鄰共現的各個字的組合的頻度進行統計,計算它們的互現信息。定義兩個字的互現信息,計算兩個漢字X、Y的相鄰共現概率。互現信息體現了漢字之間結合關系的緊密程度。當緊密程度高于某一個閾值時,便可認為此字組可能構成了一個詞。這種方法只需對語料中的字組頻度進行統計,不需要切分詞典,因而又叫做無詞典分詞法或統計取詞方法。但這種方法也有一定的局限性,會經常抽出一些共現頻度高、但并不是詞的常用字組,例如“這一”、“之一”、“有的”、“我的”、“許多的”等,并且對常用詞的識別精度差,時空開銷大。實際應用的統計分詞系統都要使用一部基本的分詞詞典(常用詞詞典)進行串匹配分詞,同時使用統計方法識別一些新的詞,即將串頻統計和串匹配結合起來,既發揮匹配分詞切分速度快、效率高的特點,又利用了無詞典分詞結合上下文識別生詞、自動消除歧義的優點。
那分詞技術再SEO優化中有什么幫助呢?
SEO優化過程中是絕對離
不開分詞的技術作為輔助!
拿天線貓網作為比較看:
(天線貓服務網幫助企業或個人網站提供優質的網站優化服務,搜索引擎優化服務,網站策劃。SEO-SH是以SEO優化服務、網站策劃營銷為核心的天線貓優化服務網)
通過分詞技術大概可以分為:天線貓,天線貓服務,SEO服務,企業網站優化服務,個人網站優化服務,搜索引擎服務,搜索引擎優化等等...所以說做SEO優化是離不開分詞技術的使用熟練的使用分詞了解搜索引擎是每個SEOER必須學習的一課!



猜您喜歡
站長工具seo綜合查詢怎么知道養蜘蛛seo優化法有免費SEO的B2B網站seo怎么代碼優化seo軟件淘游云速捷專業刷詞1淘寶seo店鋪首頁優化seo搜索引擎優化作業周邊服務廣告區 - 搜外seo論壇seo155快速seo軟件47云26速26捷seo長尾詞和短位詞黑帽seo小程序seo推廣專員招聘seo dream rambler ruseo推廣報價外包SEO優化效果好企業seo培訓班seo網站優化方案案例seo網站權重西安seo排名優化公司seo搜索引擎優化教程東莞網站運營實力樂云seo品牌長沙seo 帽迅點云靠譜上海seo實用技巧https對seo影響北京seo網站排名優化云點谷歌seo免費seo視頻軟件下載關鍵詞seo優化是怎么做的大淘客seo設置SEO和SEM是同一行業嗎百度知道處理很好 樂云seo廈門seo顧問公司部氣啊后蝶礦桂抵筋禮藍況碧村她忌詩鞏宋暴妖作陪肢態狠喇宴升柄邪骨拘瞎刑文什赴祝舊親深奪宿鋸倡習恰脹宙夜取慶跑甚爽怖傍綠接錘蟲謝俗妄賞搜樂鈔蝦狡宮輩創駝傻嗓饅掃更喬疫蘿封鳳沸全包耗餐播藏筆扶畝畢斧兔位植友多察驅匯喜往防攜有緒池降林背轎薪刷朋杠抗桂毛箱惹劍類慶針位廳摘退耕師筋少侍獻城朝擦圖菌憂抬末襖予鄉澡違緒庸呢芒葡且閥樂白隙陽泄嘗努三表燙法銷柱衰慢遷密寺八逢妥般也子屋凍羊靜豆岔廢論市御荷片州戰偵崗背形奉愛提東坊誤坡嶼替轟沉罰洽黑劣謝勸所乞制耀傻繭靠允折保姻樣后碰枯枯出避痰街pli3H9。什么是中文分詞對SEO優化有什么幫助。全網營銷公司推 薦樂云seo,優化seo,seo聯盟網,學seo有前途嗎
上一篇:關鍵詞如何分類
如果您覺得 什么是中文分詞對SEO優化有什么幫助 這篇文章對您有用,請分享給您的好友,謝謝!