|
4.2.2 模拟浏览器 模拟浏览器主要是从web服务器上获取网页并把网页保存到本地缓冲区中，方便后续程序分析分类。模拟浏览器主要通过search.java类来实现。 copyright paper51.com
网络API通过提供URL类让用户能在源代码层使用URL，每一个URL对象都封装了资源的标识符和协议处理程序。获得URL对象的途径之一是调用URI对象的toURL()方法。但是这种选择不一定方便，作为代替，可以调用URL构造函数来建立URL对象，也可以调用URL的方法来提取URL的组件，打开一个输入流（input stream）从资源中读取信息，获得某个能方便检索资源数据的对象的引用，比较两个URL对象中的URL，获得到资源的连接对象，该连接对象允许代码了解（并写入）更多的资源的信息。 内容来自论文无忧网 www.paper51.com URL类有六个构造函数。其中最简单的是URL(String url)，它有一个String类型的参数，把URL分解为自己的组件，并把这些组件存储在一个新的URL对象中。如果某个URL没有包含协议处理程序或该URL的协议是未知的，其它的五个构造函数会产生一个java.net.MalformedURLException对象。 http://www.paper51.com
下面的代码展示了网络爬虫调用网络API提供的URL类从目标服务器获取数据保存到缓冲区中的过程。 http://www.paper51.com 模拟浏览器源程序如下所示： 内容来自www.paper51.com boolean messagedig() throws Exception { copyright paper51.com URL url; paper51.com HttpURLConnectionhttp; paper51.com java.io.InputStreamurlstream = null; paper51.com url= new URL(this.url); 内容来自www.paper51.com try { http://www.paper51.com
http =(HttpURLConnection) url.openConnection(); copyright paper51.com http.setRequestProperty("User-Agent","Mozilla/3.0"); 内容来自论文无忧网 www.paper51.com
http.connect(); http://www.paper51.com
urlstream = http.getInputStream(); copyright paper51.com }catch (Exception e) { http://www.paper51.com //TODO 自动生成 catch 块 http://www.paper51.com System.out.println("错误的URL地址"+url); 内容来自论文无忧网 www.paper51.com returnfalse; 内容来自论文无忧网 www.paper51.com } 内容来自www.paper51.com java.io.BufferedReaderreader = new java.io. copyright paper51.com
BufferedReader(newjava.io.InputStreamReader(urlstream)); 内容来自论文无忧网 www.paper51.com Stringcurrentline="",sumstring = ""; 内容来自www.paper51.com
try{ 内容来自www.paper51.com while((currentline=reader.readLine())!=null){ 内容来自www.paper51.com sumstring+=currentline;//保存在网络缓冲区中 内容来自www.paper51.com } copyright paper51.com setMessage(sumstring); paper51.com
newString(sumstring.getBytes(),"gbk"); paper51.com } http://www.paper51.com catch(java.net.SocketException e){ http://www.paper51.com System.out.println("错误的文件格式："+url.getPath()); paper51.com
} 内容来自www.paper51.com returntrue; paper51.com } copyright paper51.com
4.2.3 正则表达式 copyright paper51.com
正则表达式是一门语言。有许多正则表达式语法、选项和特殊字符，在Pattern.java源文件中大家可以查看。可能比想象中的要复杂。组合逻辑是下一步的事情。只要正确运用，正则表达式能够在字符串提取和文本修改中起到很大的作用。 copyright paper51.com 正则表达式在本程序中的作用是分析网页中存在的超链接并保存到等待队列中，方便爬虫遍历网页获取数据，并把网页中存在的音乐信息提取出来为爬虫储存数据做准备。 内容来自www.paper51.com
（1）句点符号 内容来自论文无忧网 www.paper51.com 假设你在玩英文拼字游戏，想要找出三个字母的单词，而且这些单词必须以“t”字母开头，以“n”字母结束。另外，假设有一本英文字典，你可以用正则表达式搜索它的全部内容。要构造出这个正则表达式，你可以使用一个通配符——句点符号“.”。这样，完整的表达式就是“t.n”，它匹配“tan”、“ten”、“tin”和“ton”，还匹配“t#n”、“tpn”甚至“t n”，还有其他许多无意义的组合。这是因为句点符号匹配所有字符，包括空格、Tab字符甚至换行符如： paper51.com ① 正则表达式:t.n copyright paper51.com ② 匹配：tan,Ten,tin,ton,t n,t#n,tpn,等。 内容来自www.paper51.com （2）方括号符号 copyright paper51.com
为了解决句点符号匹配范围过于广泛这一问题，你可以在方括号（“[]”）里面指定看来有意义的字符。此时，只有方括号里面指定的字符才参与匹配。也就是说，正则表达式“t[aeio]n”只匹配“tan”、“Ten”、“tin”和“ton”。但“Toon”不匹配，因为在方括号之内你只能匹配单个字符： 内容来自www.paper51.com ① 正则表达式:t[aeio]n 内容来自www.paper51.com ② 匹配:tan,Ten,tin,ton copyright paper51.com （3）“或”符号 paper51.com 如果除了上面匹配的所有单词之外，你还想要匹配“toon”，那么，你可以使用“|”操作符。“|”操作符的基本意义就是“或”运算。要匹配“toon”，使用“t(a|e|i|o|oo)n”正则表达式。这里不能使用方扩号，因为方括号只允许匹配单个字符；这里必须使用圆括号“()”。圆括号还可以用来分组，具体请参见后面介绍。 内容来自论文无忧网 www.paper51.com ① 正则表达式:t(a|e|i|o|oo)n 内容来自www.paper51.com
② 匹配:tan,Ten,tin,ton,toon 内容来自www.paper51.com （4）表示匹配次数的符号 http://www.paper51.com 表4.1显示了表示匹配次数的符号，这些符号用来确定紧靠该符号左边的符号出现的次数。 内容来自论文无忧网 www.paper51.com 表4.1 表示次数的符号 copyright paper51.com 符号 http://www.paper51.com 次数 http://www.paper51.com # http://www.paper51.com
0次或者多次 paper51.com + paper51.com
1次或者多次 paper51.com ? 内容来自www.paper51.com
0次或者一次 内容来自www.paper51.com {n} http://www.paper51.com 恰好n次 内容来自www.paper51.com {n,m} http://www.paper51.com 从n次到m次 http://www.paper51.com 假设要在文本文件中搜索美国的社会安全号码。这个号码的格式是999-99-9999。用来匹配它的正则表达式如图一所示。在正则表达式中，连字符（“-”）有着特殊的意义，它表示一个范围，比如从0到9。因此，匹配社会安全号码中的连字符号时，它的前面要加上一个转义字符“\”。 paper51.com 正则表达源程序如下： copyright paper51.com
publicclass CompareStr { copyright paper51.com public boolean comparestring(Stringoristring,String tostring) //判断是否存在指定表达式 copyright paper51.com { 内容来自www.paper51.com Pattern p=null; //正则表达式 内容来自论文无忧网 www.paper51.com Matcher m=null; //操作的字符串 内容来自www.paper51.com boolean b; 内容来自论文无忧网 www.paper51.com p =Pattern.compile(oristring,Pattern.CASE_INSENSITIVE); http://www.paper51.com m = p.matcher(tostring); copyright paper51.com b = m.find(); 内容来自论文无忧网 www.paper51.com return b; 内容来自www.paper51.com } 内容来自www.paper51.com public String replace(Stringorigin,String toString,String s){//替换字符 http://www.paper51.com
Pattern p=null; http://www.paper51.com Matcher m=null; 内容来自www.paper51.com p=Pattern.compile(origin,Pattern.CASE_INSENSITIVE); paper51.com m=p.matcher(toString); 内容来自www.paper51.com return m.replaceAll(s); 内容来自论文无忧网 www.paper51.com } 内容来自论文无忧网 www.paper51.com public StringgetString(String reg,String s){//返回得到的字符 paper51.com String res; http://www.paper51.com Pattern p=null; http://www.paper51.com
Matcher m=null; 内容来自论文无忧网 www.paper51.com p=Pattern.compile(reg,Pattern.CASE_INSENSITIVE); copyright paper51.com m=p.matcher(s); http://www.paper51.com
if(m.find()){ paper51.com return m.group(); http://www.paper51.com } copyright paper51.com |