蓝月亮料全年资料大全-免费完整资料

News

价值共享，记录互联网发展脚步

西安的百度指纹算法是什么?

西安凡高网络 2021-12-27 0次

百度指纹算法是什么?

　　简单来说搜索引擎指纹算法就和人的指纹一样，看起来这个手指是差不多的，但是实际上每一个人的手指都有一个独一无二的指纹，而我们所看到的网页也是一样的。不少网页内容其实都是差不多的，但是每一个网页搜索引擎抓取以后都会保存，然后建立一个指纹，可以理解为唯一标识符，而这个算法最大的好处就是可以通过这个唯一标识别符来计算网页的重复。

蓝月亮料全年资料大全

　　搜索引擎网页指纹技术在百度百科中的解释是：提取一个信息的特征，通常是一组词或者一组词+权重，然后根据这组词调用特别的算法，例如MD5，将之转化为一组代码，这组代码就成为标识这个信息的指纹。搜索引擎在抓取内容之后，会首先剔除掉文章中的一些非特征信息关键词，比如：你、我、他等称谓;而且、但是等连接词;哦、呢、吧等语气词。这些词对于信息标识是没有帮助的，然后就是对文字信息的提取与处理，经过一系列复杂的算法流程。

　　二、常见的搜索引擎指纹算法有哪些?

　　最简单的指纹构造方式就是计算文本的md5或者sha哈希值，除非输入相同的文本，否则会发生“雪崩效应”，极小的文本差异通过md5或者sha计算出来的指纹就会不同(发生冲撞的概率极低)，那么对于稍加改动的文本，计算出来的指纹也是不一样。

　　因此，一个好的指纹应该具备如下特点：

　　1、指纹是确定性的，相同的文本的指纹是相同的;

　　2、指纹越相似，文本相似性就越高;

　　3、指纹生成和匹配效率高。