文章分类 | 推荐文章 | 最新文章 | 热点文章 | 最新软件 | 精品软件 | 下载排行 | 推荐下载 | 免费看大片 | WPS | 杀毒软件
清风网络
首 页 软件下载 网络学院 数码学院
QQ 电脑入门 游戏 操作系统 图形处理 办公软件 媒体动画 精文荟萃 工具软件 网络编程 程序开发 网络技术 认证考试 网站建设 文章专栏
当前位置:清风网络学院专栏Googlegoogle搜索原理论文上(内容枯燥但非常有用)
精品推荐
特别推荐
·十大AdSense工具! Top 10 Adsense Tools
·Google展示其内部使用的网络工具
·Gmail 小技巧
·11种途径将提升英文网站PR值
·google提交Sitemaps的常见问题解答
·提高Google域名信任度的8个方法
·使用Google工具条有助于网站收录
·Google搜索引擎介绍
·google沙盒效应产生的原因及其避免方法
·Google搜索技巧2007版
·总结:Google使用技巧
·技巧:GoogleTalk快捷键列表!
·教你如何解除“该网站可能会损害您的计算机”提示
·网站赚钱:Google关键词广告创建的十二高招
·十个值得推荐的Google搜索技巧
·狂想Google未来十大功能
·《Google排名技巧》共十五课学习笔记
·Google AdSense优化的5个最重点提示
·如何让你的网站远离“该网站可能会损害您的计算机”警告?
·Gmail帐号被盗怎么办?几步即可找回
热点TOP10
·做GOOGLE月入一万RMB提示交流
·Google的秘密 招聘条件跟微软一样
·谈Google广告的单价与点击-Smart
·Google广告优化技巧总结
·Google Adsense改变不了网站的命运
·王通:个人如何利用网络赚钱(1)
·十大AdSense工具! Top 10 Adsense Tools
·Google出售Performics服务 维护搜索承诺
·搜索内搜索 Google新工具震惊网络
·Google搜索技巧2007版
·Google Earth中文版-上帝之眼1.1测试版Beta2
·如何“上传图片”到 Google地图
·卫星地图Google中国 可能是一项“要命的创新”
·Google 全球偷窥真相调查
·Google关键词广告创建的十二高招
·Google Adwords优化技巧
·Google Adwords投放报告(一)
·英文视频:Google AdSense技巧视频教程
·GG网赚之:怎么样利用E文站轻松月入100刀
·Google AdSense 中文高价关键词一览

google搜索原理论文上(内容枯燥但非常有用)

日期:2006年9月18日 作者: 查看:[大字体 中字体 小字体]



6.3可升级的体系结构除了搜索质量,Google设计成可升级的。空间和时间必须高效,处理整个Web时固定的几个因素非常重要。实现Google系统,CPU、访存、内存容量、磁盘寻道时间、磁盘吞吐量、磁盘容量、网络IO都是瓶颈。在一些操作中,已经改进的Google克服了一些瓶颈。Google的主要数据结构能够有效利用存储空间。进一步,网页爬行,索引,排序已经足够建立大部分web索引,共24000000个网页,用时不到一星期。我们希望能在一个月内建立100000000网页的索引。

6.4研究工具 Google不仅是高质量的搜索引擎,它还是研究工具。Google搜集的数据已经用在许多其它论文中,提交给学术会议和许多其它方式。最近的研究,例如,提出了Web查询的局限性,不需要网络就可以回答。这说明Google不仅是重要的研究工具,而且必不可少,应用广泛。我们希望Google是全世界研究者的资源,带动搜索引擎技术的更新换代。 7致谢 Scott Hassan and Alan Steremberg评价了Google的改进。他们的才智无可替代,作者由衷地感谢他们。感谢Hector Garcia-Molina, Rajeev Motwani, Jeff Ullman, and Terry Winograd和全部WebBase开发组的支持和富有深刻见解的讨论。最后感谢IBM,Intel,Sun和投资者的慷慨支持,为我们提供设备。这里所描述的研究是Stanford综合数字图书馆计划的一部分,由国家科学自然基金支持,合作协议号IRI-9411306。DARPA ,NASA,Interva研究,Stanford数字图书馆计划的工业合作伙伴也为这项合作协议提供了资金。参考文献 ?
Google的设计目标是可升级到10亿网页。我们的磁盘和机器大概能处理这么多网页。系统各个部分耗费的总时间是并行的和线性的。包括网页爬行机器人,索引器和排序器。扩展后我们认为大多数数据结构运行良好。然而10亿网页接近所有常用操作系统的极限(我们目前运行在Solaris和Linux上)。包括主存地址,开放文件描述符的数量,网络socket和带宽,以及其它因素。我们认为当网页数量大大超过10亿网页时,会大大增加系统复杂性。 9.2集中式索引体系的可升级性随着计算机性能的提高,海量文本索引的成本比较公平。当然带宽需求高的其它应用如视频,越来越普遍。但是,与多媒体例如视频相比,文本产品的成本低,因此文本仍然普遍。


图2 Google系统的工作流程图
(注:原图来自Sergey Brin and Lawrence Page, The Anatomy of a Large-Scale Hypertextual. Web Search Engine, 1998.http://www-db.stanford.edu/~backrub/Google.html)

①Google使用高速的分布式爬行器(Crawler)系统中的漫游遍历器(Googlebot)定时地遍历网页,将遍历到的网页送到存储服务器(Store Server)中。
②存储服务器使用zlib格式压缩软件将这些网页进行无损压缩处理后存入数据库Repository中。Repository获得了每个网页的完全Html代码后,对其压缩后的网页及URL进行分析,记录下网页长度、URL、URL长度和网页内容,并赋予每个网页一个文档号(docID),以便当系统出现故障的时候,可以及时完整地进行网页的数据恢复。
③索引器(Indexer)从Repository中读取数据,以后做以下四步工作:
④(a)将读取的数据解压缩后进行分析,它将网页中每个有意义的词进行统计后,转化为关键词(wordID)的若干索引项(Hits),生成索引项列表,该列表包括关键词、关键词的位置、关键词的大小和大小写状态等。索引项列表被存入到数据桶(Barrels)中,并生成以文档号(docID)部分排序的顺排档索引。
索引项根据其重要程度分为两种:当索引项中的关键词出现在URL、标题、锚文本(Anchor Text)和标签中时,表示该索引项比较重要,称为特殊索引项(Fancy Hits);其余情况则称为普通索引项(Plain Hits)。在系统中每个Hit用两个字节(byte)存储结构表示:特殊索引项用1位(bit)表示大小写,用二进制代码111(占3位)表示是特殊索引项,其余12位有4位表示特殊索引项的类型(即hit是出现在URL、标题、链接结点还是标签中),剩下8位表示hit在网页中的具体位置;普通索引项是用1位表示大小写,3位表示字体大小,其余12位表示在网页中的具体位置。


顺排档索引和Hit的存储结构如图3所示。

图3 顺排档索引和Hit的存储结构

值得注意的是,当特殊索引项来自Anchor Text时,特殊索引项用来表示位置的信息(8位)将分为两部分:4位表示Anchor Text出现的具体位置,另4位则用来与表示Anchor Text所链接网页的docID相连接,这个docID是由URL Resolver经过转化存入顺排档索引的。
(b)索引器除了对网页中有意义的词进行分析外,还分析网页的所有超文本链接,将其Anchor Text、URL指向等关键信息存入到Anchor文档库中。
(c)索引器生成一个索引词表(Lexicon),它包括两个部分:关键词的列表和指针列表,用于倒排档文档相连接(如图3所示)。
(d)索引器还将分析过的网页编排成一个与Repository相连接的文档索引(Document Index),并记录下网页的URL和标题,以便可以准确查找出在Repository中存储的原网页内容。而且把没有分析的网页传给URL Server,以便在下一次工作流程中进行索引分析。

上一页 [1] [2] [3] [4] [5] [6] [7] [8] 下一页 




上一篇:名字的起法

下一篇:3721王朝灭亡记

google搜索原理论文上(内容枯燥但非常有用) 相关文章:
·socket编程原理
·IE7.0浏览器有用的9个使用技巧
·非常漂亮的按钮图片
·免费QQ秀(非常不错啊)
·做GOOGLE月入一万RMB提示交流
·非常漂亮的QQ资料,保证不会让你失望
·Photoshop教程:MM照片弄得非常脏特效
·Telnet高级入侵攻略及原理
·Google的秘密 招聘条件跟微软一样
·谈Google广告的单价与点击-Smart
google搜索原理论文上(内容枯燥但非常有用) 相关软件:
·海量免费毕业论文打包下载
·Google Earth 动态卫星地图 汉化版 带我们进入间谍时代 能看见你家院子
·卫星定位地图GoogleEarth 看全球每个平方角超级高清定位
·整形模拟软件_非常face V1.0
·精通.Net核心技术原理与构架
·城市规划原理模拟试题(附答案)
·卫星定位地图GoogleEarth 看全球每个平方角
·2006年考研政治强化班·马克思主义政治经济学原理 刘儒 08
·2006年考研政治强化班·马克思主义政治经济学原理 刘儒 07
·Google Earth 动态卫星地图 汉化版 能看见你家院子的车 电信做种

特别声明:本站除部分特别声明禁止转载的专稿外的其他文章可以自由转载,但请务必注明出处和原始作者。文章版权归文章原始作者所有。对于被本站转载文章的个人和网站,我们表示深深的谢意。如果本站转载的文章有版权问题请联系编辑人员,我们尽快予以更正。
[打印本页] [关闭窗口] 转载请注明来源:http://www.vipcn.net
| 帮助(?) | 版权声明 | 友情连接 | 关于我们 | 信息发布
Copyright 2007 www.vipcn.net All Rights Reserved. 鄂ICP备05000083号Powered by:viphot