目录
目录1
摘要3
第一章引言4
第二章搜索引擎的结构5
2.1系统概述5
2.2搜索引擎的构成5
2.2.1网络机器人5
2.2.2索引与搜索5
2.2.3Web服务器6
2.3搜索引擎的主要指标及分析6
2.4小节6
第三章网络机器人7
3.1什么是网络机器人7
3.2网络机器人的结构分析7
3.2.1如何解析HTML7
3.2.2Spider程序结构8
3.2.3如何构造Spider程序9
3.2.4如何提高程序性能11
3.2.5网络机器人的代码分析12
3.3小节14
第四章基于LUCENE的索引与搜索15
4.1什么是LUCENE全文检索15
4.2LUCENE的原理分析15
4.2.1全文检索的实现机制15
4.2.2Lucene的索引效率15
4.2.3中文切分词机制17
4.3LUCENE与SPIDER的结合18
4.4小节21
第五章基于TOMCAT的WEB服务器22
5.1什么是基于TOMCAT的WEB服务器22
5.2用户接口设计22
5.3.1客户端设计22
5.3.2服务端设计23
5.3在TOMCAT上部署项目25
5.4小节25
第六章搜索引擎策略26
6.1简介26
6.2面向主题的搜索策略26
6.2.1导向词26
6.2.3权威网页和中心网页27
6.3小节27
参考文献28
摘要
网络中的资源非常丰富，但是如何有效的搜索信息却是一件困难的事情。建立搜索引擎就是解决这个问题的最好方法。本文首先详细介绍了基于英特网的搜索引擎的系统结构，然后从网络机器人、索引引擎、Web服务器三个方面进行详细的说明。为了更加深刻的理解这种技术，本人还亲自实现了一个自己〖本文来自：毕业设计论文网www.paper51.com〗的搜索引擎——基于搜索引擎。
搜索引擎是从指定的Web页面中按照超连接进行解析、搜索，并把搜索到的每条信息进行索引后加入数据库。然后通过Web服务器接受客户端请求后从索引数据库中搜索出所匹配的。
本人在介绍搜索引擎的章节中除了详细的阐述技术核心外还结合了搜索引擎的实现代码来说明，图文并茂、易于理解。
Abstract
Theresourcesintheinternetareabundant,butitisadifficultjobtosearchsomeusefulinformation.Soasearchengineisthebestmethodtosolvethisproblem.Thisarticlefistintroducesthesystemstructureofsearchenginebasedontheinternetindetail,thengivesaminuteexplanationformSpidersearch,engineandwebserver.Inordertounderstandthetechnologymoredeeply,Ihaveprogrammedanewssearchenginebymyself.
Thenewssearchengineisexplainedandsearchedaccordingtohyperlinkfromaappointedwebpage,thenindexseverysearchedinformationandaddsittotheindexdatabase.Thenafterreceivingthecustomers'requestsfromthewebserver,itsoonsearchstherightprojectformtheindexengine.
Inthechapterofintroducingsearchengine,itisnotonlyelaboratethecoretechnology,butalsocombinewiththemoderncode,picturesincluded,easytounderstand.
第一章引言
面对浩瀚的网络资源，搜索引擎为所有网上冲浪的用户提供了一个入口，毫不夸张的说，所有的用户都可以从搜索出发到达自己想去的网上任何一个地方。因此它也成为除了电子邮件以外最多人使用的网上服务。
搜索引擎技术伴随着WWW的发展是引人注目的。搜索引擎大约经历了三代的更新发展：
第一代搜索引擎出现于1994年。这类搜索引擎一般都索引少于1，000，000个网页，极少重新搜集网页并去刷新索引。而且其检索速度非常慢，一般都要等待10秒甚至更长的时间。在实现技术上也基本沿用较为成熟的IR（InformationRetrieval）、网络、数据库等技术，相当于利用一些已有技术实现的一个WWW上的应用。在1994年3月到4月，网络爬虫WorldWebWorm(WWWW)平均每天承受大约1500次查询。
大约在1996年出现的第二代搜索引擎系统大多采用分布式方案（多个微型计算机协同工作）来提高数据规模、响应速度和用户数量，它们一般都保持一个大约50，000，000网页的索引数据库，每天能够响应10，000，000次用户检索请求。1997年11月，当时最先进的几个搜索引擎号称能建立从2，000，000到100，000，000的网页索引。Altavista搜索引擎声称他们每天大概要承受20，000，000次查询。
2000年搜索引擎2000年大会上，按照Google公司总裁LarryPage的演讲，Google正在用3,000台运行Linux系统的个人电脑在搜集Web上的网页，而且以每天30台的速度向这个微机集群里添加电脑，以保持与网络的发展相同步。每台微机运行多个爬虫程序搜集网页的峰值速度是每秒100个网页，平均速度是每秒〖本文来自：毕业设计论文网www.paper51.com〗48.5个网页，一天可以搜集超过4，000，000网页
搜索引擎一词在国内外因特网领域被广泛使用，然而他的含义却不尽相同。在美国搜索引擎通常指的是基于因特网的搜索引擎，他们通过网络机器人程序收集上千万到几亿个网页，并且每一个词都被搜索引擎索引，也就是我们说的全文检索。著名的因特网搜索引擎包括FirstSearch、Google、HotBot等。在中国，搜索引擎通常指基于网站目录的搜索服务或是特定网站的搜索服务，本人这里研究的是基于因特网的搜索技术。
