tfidf算法介绍及实现(tf-idf是什么的一种经典算法)

- 作者:小小课堂网 - 阅 1,738   推荐

tfidf算法介绍及实现。真正的网站权重是看不到的,搜索引擎也从来没给出过,但网站是有权重一说的,并且有具体的算法。今天,小小课堂网( xxkt.org.cn )带来的是《tfidf算法介绍及实现(tf-idf是什么的一种经典算法)》。希望对大家有所帮助。

tfidf算法介绍及实现

权重较高的网站的页面在被搜索引擎收录并索引之后,会给予一个初始的权重值,也可以理解为最初的关键词排名,随着搜索引擎用户通过搜索关键词,发现并点击这个页面的数据,影响了这个页面后期的排名情况。

TF-IDF是页面自身被搜索引擎赋予权重的一个加权方法,它与网站权重、内链指向、外链指向等等均无关,是我们做出来这个页面之后,通过TF-IDF加权算法就给出页面某些关键词的排名能力,根据我们写作水平和页面设计内容不同,赋予的最初的权重也是不同的,所以同一站点发布了很多文章,有些文章有排名,有些文章没有排名,归根结底还是TF-IDF影响着这个最初的关键词排名,IT-IDF是SEOer写好符合搜索引擎文章的捷径,也是必须要掌握的基础知识。

索引创建中的权值

在《搜索引擎基本原理分析》中已经介绍过了IT-IDF就是搜索引擎创建索引过程中的加权方法,这些IT-IDF加权的就是页面自身,与其他无关。错误君从以下三点来解释索引项权值的概念:

1)索引项权值概念

索引项的权值,在一定程度上反应了文档中词的相对重要性,这个值通常用于索引排序过程中计算分值,也就是影响搜索引擎排序的重要因素之一。

2)索引项权值怎么得来的

索引项权值,是由检索模式中的加权组件利用文档统计结果来计算得出的。

3)索引项加权方法

传统的检索模式中最常见的加权方法:TF-IDF算法。

TF-IDF加权方法

1)TF-IDF定义

TF-IDF算法,基于索引项出现在一个文档中的次数或频率,以及索引项在整个文档集合中出现的频率,两者的组合(或者说两者的乘积)。

2)TF-IDF中词的解析

次数和频率称之为词频,英文简称为tf。

索引项在整个文档集合中出现的频率,称之为范文档频率,英文简称为idf。

3)TF-IDF的简单说明

TF-IDF的核心思想,是指某个词或某个短语在一篇文档中出现的频率高,并且在索引库的其他文档中出现较少,就认为这个词或短句有很好的类别区分能力,可以用来进行分类。

简单来讲,某个词或某个短语就是索引词,对于这篇文章而言,该词项将被赋予较高的权值。

认识并使用TF-IDF加权方法

对SEOer而言,一般正确理解和应用TF-IDF加权方法即可,公式看看就好。错误君为大家总结了通过TF-IDF总结的几点SEO方面的常识:

1)品牌词容易优化

品牌词一般是自己创造的,满足TF值大,同时IDF值大,页面加权高,自然排名很容易。

2)行业核心词难优化

无数网站都在优化这同一个词,然而首页的位置却是有限的,大家都满足TF大,但同样IDF越小,证明这个词越难优化。

这也就是平时在判断关键词优化难度时,为什么将百度搜索的相关结果数作为优化难度之一的原因。

3)多挖掘没有百度指数的关键词-降低优化难度

行业中有百度指数的词,大家都在做优化与排名,这样的词不光是竞争压力大,可能还带不来多少点击。因为百度指数可能是100,真实用户也许只有2个,另外的98个都是企业的竞争者们。

我们应该挖掘一些没有百度指数的词,但是需要这次保持一定的搜索量,这样可以保证降低优化难度的同时,带来更多真实流量。

4)TF并不是万能!过度堆积害处大!

根据TF-IDF算法,很多人会想,增加关键词密度或频率,以增加TF值,从而获得更好的排名。然而,这种做法可以适当做,但超过一定度的话,没什么好处,反而可能会因为过度堆积被搜索引擎降权!

所谓的2%~8%的关键词密度只是个大概范围,很多排名好的页面很多都在2%一下,当然也有在8%以上的,只要密度不是过小,不必过度在乎这个。

举个例子,已经是5%的密度了,非要故意堆积到8%,甚至百分之20%,就会变得非常没有意义。这是对TF高的一种误解。

也就是我们能够根据TF-IDF算法中得到的启发是不应该让关键词的密度或频率(TF)过低,然而对于IDF来说,我们只能通过寻找IDF值高的关键词来优化,如果我们优化的关键词的IDF值本来就很低,我们也不能对其改变这个现状,IDF值越低,证明这个词在一定程度上就越难优化。

所以,在网站优化过程中,除了要做好页面外,还需要关注内链与外链优化。

TF-IDF加权公式

TF-IDF加权方法的公式看看就好,没必要去记忆。

1)TF公式

TF(i,j):关键词j在文档i中的出现频率。

n(i,j):关键词j在文档i中出现的次数。

TF-IDF

TF-IDF

举例来讲:

一篇文章总共100个词,其中“SEO培训”一共出现了10词,那么TF就是10/100,结果就是0.1。

然而,由于文章中会出现大量的“的”、“得”、“吗”、“地”,不能正常反应文章的词,所以,就得用IDF来做一个限制了。

2)IDF公式

IDF(i):词语i的反文档频率

|D|:语料库中的文件总数

|j:t(i)属于d(j)|出现词语i的文档总数

+1是为了防止分母变0。

TF-IDF

TF-IDF

IDF就可以防止常用词的干扰了。

还是刚才的例子:

一篇文章总共100个词,其中“SEO培训”一共出现了10词,那么TF就是10/100,结果就是0.1。

另外“我们”一共出现了10词,其TF结果也是0.1。

假设语料库总共有1000篇文章,其中“SEO培训”文章有10篇,“我们”文章有1000篇。

“SEO培训”的IDF=log(1000/10)= 2

“我们”的IDF=log(1000/1000)= 0

3)TF-IDF公式

TF-IDF = TF*IDF

TF-IDF

“SEO培训”的TF*IDF=0.1*0=0

“我们”的TF*IDF=0.1*2=0.2

那么很显然,对于这篇文章而言,“SEO培训”比“我们”更加重要。

以上就是小小课堂网( xxkt.org.cn )带来的是《tfidf算法介绍及实现(tf-idf是什么的一种经典算法)》。感谢您的阅读。

本文最后一次更新时间:2022年2月28日

本文《tfidf算法介绍及实现(tf-idf是什么的一种经典算法)》由小小课堂网整理或原创,侵删,欢迎转载并保留版权:https://xxkt.org.cn/ 感谢您的阅读。

本站提供SEO培训、咨询、诊断,QQ:2216876660 微信:huowuyan 公众号:小小课堂网

标签:

相关文章!
error: Content is protected !!