歡迎來到现金炸金花總部官網

最新推廣:賀***有限公司推廣上線!!!

當前位置: 主頁 > 公司公告> 搜索引擎關鍵詞排名中文分詞技術詳解

搜索引擎關鍵詞排名中文分詞技術詳解

發布時間:2018-08-11 17:09:47
作者:现金炸金花

提醒也許有一些新手朋友看起來中文分詞的分詞理論比較複雜,但你完全同必要詞那些理論,沒有太多的意義,你隻要知道計算方法和如何去做好每個網頁分詞就可以了。

中文分詞是什麽

中文分詞指的是將一個漢字序列切分成一個一個單獨的詞,分詞就是將連續的字序列按照一定的規範重新組合成詞序列的過程,所謂分詞就是把字與字連在一起的漢語句子分成若幹個相互獨立、完整、正確的單詞,詞是最小的、能獨立活動的、有意義的語言成分。

现金炸金花知道,在英文的行文中,單詞之間是以空格作為自然分界符的,而中文隻是字、句和段能通過明顯的分界符來簡單劃界,唯獨詞沒有一個形式上的分界符,雖然英文也同樣存在短語的劃分問題,不過在詞這一層上,中文比之英文要複雜的多、困難的多。

中文分詞是文本挖掘的基礎,對於輸入的一段中文,成功的進行中文分詞,可以達到電腦自動識別語句含義的效果。中文分詞技術屬於自然語言處理技術範疇,對於一句話,人可以通過自己的知識來明白哪些是詞?哪些不是詞?但如何讓計算機也能理解?其處理過程就是分詞算法。

計算機的所有語言知識都來自機器詞典(給出詞的各項信息)、句法規則(以詞類的各種組合方式來描述詞的聚合現象)以及有關詞和句子的語義、語境、語用知識庫,中文信息處理係統隻要涉及句法、語義(如檢索、翻譯、文摘、校對等應用),就需要以詞為基本單位,當漢字由句轉化為詞之後,才能使得句法分析、語句理解、自動文摘、自動分類和機器翻譯等文本處理具有可行性,可以說,分詞是機器語言學的基礎。

湘潭seo詳解分詞的思路及原理。

首先现金炸金花要知道搜索引擎工作原理是把每個網頁的內容按詞來錄入到數據庫,比如你的文章標題是,那麽搜索引擎分把這個標題分成搜索引擎字典已經存儲的詞和用戶常關注的詞,比如:、SEO、博客,培訓,提供,免費等等。

主要大家能領悟這種思維就可以了,所以文章句子分割成每個詞或者單個字是搜索引擎要做的第一頁,也是最重要的一步,因為隻有詞分好了,才能準確地把價值的信息反饋給用戶。

對於一個專業的網站優化人員來說中文分詞的方法也十分的重要,因為主有把要優化的每個詞好了分詞後,才能更好的做好每個網頁的優化工作,才能更清楚的告訴搜索引擎我這網站是代表什麽來提高搜索引擎排名的機會,同時也清楚告訴用戶,你的網頁要表達的內容,這是做SEO服務以來體會最深刻的地方,往往一個網頁的分詞錯了,再多的努力都是白費,因為做SEO推廣的企業是非常講究效率的,效率低意味意投資與回報率太低,是企業資源沒有合理利用的一個錯誤策略。

中文分詞技術在搜索引擎中有哪些應用?

在自然語言處理技術中,中文處理技術比西文處理技術要落後很大一段距離,許多西文的處理方法中文不能直接采用,就是因為中文必需有分詞這道工序,中文分詞是其他中文信息處理的基礎,搜索引擎隻是中文分詞的一個應用,其他的比如機器翻譯(MT)、語音合成、自動分類、自動摘要、自動校對等等,都需要用到分詞。因為中文需要分詞,可能會影響一些研究,但同時也為一些企業帶來機會,因為國外的計算機處理技術要想進入中國市場,首先也是要解決中文分詞問題。

分詞準確性對搜索引擎來說十分重要,但如果分詞速度太慢,即使準確性再高,對於搜索引擎來說也是不可用的,因為搜索引擎需要處理數以億計的網頁,如果分詞耗用的時間過長,會嚴重影響搜索引擎內容更新的速度。因此對於搜索引擎來說,分詞的準確性和速度,二者都需要達到很高的要求。

特殊性。

據了解,在計算機網絡上,之所以存在中文分詞技術,是由於中文在基本文法上有其特殊性:

與英文為代表的拉丁語係語言相比,英文以空格作為天然的分隔符,而中文由於繼承自古代漢語的傳統,詞語之間沒有分隔。古代漢語中除了連綿詞、人名和地名等,詞通常就是單個漢字,所以當時沒有分詞書寫的必要,而現代漢語中雙字或多字詞居多,一個字不再等同於一個詞。

在中文裏,“詞”和“詞組”邊界模糊,現代漢語的基本表達單元雖然為“詞”,且以雙字或者多字詞居多,但由於人們認識水平的不同,對詞和短語的邊界很難去區分。例如:“對隨地吐痰者給予處罰”,“隨地吐痰者”本身是一個詞還是一個短語,不同的人會有不同的標準,同樣的“海上”“酒廠”等等,即使是同一個人也可能做出不同判斷,如果漢語真的要分詞書寫,必然會出現混亂,難度很大。中文分詞的方法其實不局限於中文應用,也被應用到英文處理,如手寫識別,單詞之間的空格就很清楚,中文分詞方法可以幫助判別英文單詞的邊界。

分詞算法的分類

現有的分詞算法可分為三大類:基於字符串匹配的分詞方法、基於理解的分詞方法和基於統計的分詞方法,按照是否與詞性標注過程相結合,又可以分為單純分詞方法和分詞與標注相結合的一體化方法。

基於字符串匹配的分詞方法

這種方法又叫做機械分詞方法,它是按照一定的策略將待分析的漢字串與一個“充分大的”機器詞典中的詞條進行配,若在詞典中找到某個字符串,則匹配成功(識別出一個詞)。

按照掃描方向的不同,串匹配分詞方法可以分為正向匹配和逆向匹配;按照不同長度優先匹配的情況,可以分為最大(最長)匹配和最小(最短)匹配;常用的幾種機械分詞方法如下:

正向最大匹配法(由左到右的方向)

首先粗分,按照句子把文本切成一個一個句子,然後把每個句子切成單字,字典按照樹形結構存儲,比如這句話“春天還會遠嗎”首先查找“春”字開頭的詞,然後按照字典樹形結構往下走一個節點,查找“春”後麵一個字是“天”的詞,然後又下沉一個節點,找“還”下麵是“會”的詞,找不到了,查找就結束。

逆向最大匹配法(由右到左的方向)

就是朝相反的方向發掘可以匹配的文字,比如網上商城這個文字串,那麽會向左延伸在網上的前麵會出現的結果是區域性的文字,比如上海或者北京等,在商城的前麵會出現更精準的定義文字符,比如愛家,女人等專屬性強的文字符。

最少切分法

使每一句中切出的詞數最小,還需通過利用各種其它的語言信息來進一步提高切分的準確率。

雙向最大匹配法(進行由左到右、由右到左兩次掃描)

正向最大匹配方法和逆向最大匹配方法結合起來構成雙向匹配法,就是向左右縱深挖掘比較匹配的結果值。還可以將上述各種方法相互組合,例如,可以將正向最大匹配方法和逆向最大匹配方法結合起來構成雙向匹配法,由於漢語單字成詞的特點,正向最小匹配和逆向最小匹配一般很少使用。

一般說來,逆向匹配的切分精度略高於正向匹配,遇到的歧義現象也較少,統計結果表明,單純使用正向最大匹配的錯誤率為1/169,單純使用逆向最大匹配的錯誤率為1/245,但這種精度還遠遠不能滿足實際的需要,實際使用的分詞係統,都是把機械分詞作為一種初分手段,還需通過利用各種其它的語言信息來進一步提高切分的準確率。一種方法是改進掃描方式,稱為特征掃描或標誌切分,優先在待分析字符串中識別和切分出一些帶有明顯特征的詞,以這些詞作為斷點,可將原字符串分為較小的串再來進機械分詞,從而減少匹配的錯誤率。另一種方法是將分詞和詞類標注結合起來,利用豐富的詞類信息對分詞決策提供幫助,並且在標注過程中又反過來對分詞結果進行檢驗、調整,從而極大地提高切分的準確率。對於機械分詞方法,可以建立一個一般的模型,在這方麵有專業的學術論文,這裏不做詳細論述。

2、基於理解的分詞方法

這種分詞方法是通過讓計算機模擬人對句子的理解,達到識別詞的效果,其基本思想就是在分詞的同時進行句法、語義分析,利用句法信息和語義信息來處理歧義現象,它通常包括三個部分:分詞子係統、句法語義子係統、總控部分。

在總控部分的協調下,分詞子係統可以獲得有關詞、句子等的句法和語義信息來對分詞歧義進行判斷,即它模擬了人對句子的理解過程,這種分詞方法需要使用大量的語言知識和信息,由於漢語語言知識的籠統、複雜性,難以將各種語言信息組織成機器可直接讀取的形式,因此目前基於理解的分詞係統還處在試驗階段。

3、基於統計的分詞方法

從形式上看,詞是穩定的字的組合,因此在上下文中,相鄰的字同時出現的次數越多,就越有可能構成一個詞,因此字與字相鄰共現的頻率或概率能夠較好的反映成詞的可信度,可以對語料中相鄰共現的各個字的組合的頻度進行統計,計算它們的互現信息,定義兩個字的互現信息,計算兩個漢字X、Y的相鄰共現概率,互現信息體現了漢字之間結合關係的緊密程度,當緊密程度高於某一個閾值時,便可認為此字組可能構成了一個詞。

這種方法隻需對語料中的字組頻度進行統計,不需要切分詞典,因而又叫做無詞典分詞法或統計取詞方法,但這種方法也有一定的局限性,會經常抽出一些共現頻度高、但並不是詞的常用字組,例如“這一”、“之一”、“有的”、“我的”、“許多的”等,並且對常用詞的識別精度差,時空開銷大。

實際應用的統計分詞係統都要使用一部基本的分詞詞典(常用詞詞典)進行串匹配分詞,同時使用統計方法識別一些新的詞,即將串頻統計和串匹配結合起來,既發揮匹配分詞切分速度快、效率高的特點,又利用了無詞典分詞結合上下文識別生詞、自動消除歧義的優點。

另外一類是基於統計機器學習的方法,首先給出大量已經分詞的文本,利用統計機器學習模型學習詞語切分的規律(稱為訓練),從而實現對未知文本的切分,现金炸金花知道,漢語中各個字單獨作詞語的能力是不同的,此外有的字常常作為前綴出現,有的字卻常常作為後綴(“者”“性”),結合兩個字相臨時是否成詞的信息,這樣就得到了許多與分詞有關的知識,這種方法就是充分利用漢語組詞的規律來分詞,這種方法的最大缺點是需要有大量預先分好詞的語料作支撐,而且訓練過程中時空開銷極大。

到底哪種分詞算法的準確度更高,目前並無定論,對於任何一個成熟的分詞係統來說,不可能單獨依靠某一種算法來實現,都需要綜合不同的算法,例如,海量科技的分詞算法就采用“複方分詞法”,所謂複方,就是像中西醫結合般綜合運用機械方法和知識方法,對於成熟的中文分詞係統,需要多種算法綜合處理問題。


你準備好開展業務了嗎?

成為代理商