北京SEO百度排名_网络推广_网站建设_专业网站优化【启点网络】

网站制作SEO优化推广10年,客户1200+

Python中网络页面抓取和页面分析

文章分类: SEO方案资讯 文章来源: 北京启点网络 文章作者: 北京SEO顾问 时间: 2018-06-04 19:15:45浏览热度:


[导读]:

Python的网络抓取有很多包可以实现,比如:urllib、urllib2、httplib、httplib2。其中


1.前言

        Python的网络抓取有很多包可以实现,比如:urllib、urllib2、httplib、httplib2。其中httplib、httplib2是专门处理与http相关的;而urllib、urllib2是借助于httplib、httplib2实现的,相当于在httplib、httplib2上又封装了一层来进行处理web数据。而urllib2是urllib的高版本,httplib2是httplib的高版本。

        这里我给出一个学习python库的网址,里面有各种lib库的讲解:http://docs.python.org/library/index.html  。有兴趣的读者可以看一下。

        由于最近在使用httplib2进行网上抓取数据,所以下面对httplib2进行介绍。

2.httplib2

(1)安装       

         httplib2的安装:首先下载python的httplib2的安装包,下载地址为:http://code.google.com/p/httplib2/downloads/list;其次, 在dos窗口下进入httplib2的解压目录,执行命令:python setup.py install  。 即完成安装。

(2)使用讲解

        下面再给出一个httplib2的学习地址,是httplib2的一个wiki,里面有几个httplib2的简单例子:http://code.google.com/p/httplib2/wiki/Examples 。

(a)下面给出第一个httplib2的例子,根据weibo用户的ID,抓取用户相关信息:

         这个例子涉及到cookies的使用,下面简单介绍一下cookies的问题:

         当用户抓取的网页需要登陆时,一般的登录页面只需要用户名和密码,此时我们可以采用username和password的python代码抓取网页。但是当用户频繁的登录抓取时,此时登录页面就需要输入用户名、密码和一个随机数字图片验证,图片验证无法屏蔽掉。此时,我们这里可以采用先获取用户登陆后的cookies,再以http的get请求的方式向用户发送headers(该headers包含用户登陆后的cookies信息),这样就避免了登陆。

        获取cookies的方法我感觉有2种,一种是手工方式:通过fiddler软件来查看,当用户在浏览器里输入请求的网址时,通过fiddler就可以查看用户的http的响应,具体的过程如下面2张图片所示,第一张图片是fiddler查看cookies的header,第二张图是拷贝该header:

        杭州SEO

杭州SEO与python

        第二种获取cookies的方式,可以第一次通过用户名和密码向url发出请求,然后将请求后的response中的headers的cookies保存下来,下次就可以根据cookies去登录该url并获取页面内容。

        好,cookies介绍完毕,咱们回来,下面给出第一个demo(通过cookie登陆获取微博页面,并抓取微博用户信息):

[python] view plaincopy
 
  1. #!/usr/bin/python  
  2. # -*-coding:utf-8 -*-  
  3. import httplib2  
  4. import urllib2  
  5. import re #正则表达式模块  
  6.   
  7. class WeiboClass: #定义一个weibo类  
  8.   
  9.     #获取指定url的网页内容  
  10.     def get_content(self,url,headers,id):  
  11.         http=httplib2.Http()  
  12.         response,content=http.request(url+str(id),'GET',headers=headers)  
  13.         #print url+str(id)  
  14.         return content.decode('unicode-escape').encode('utf-8')  
  15.   
  16.     #判断weibo的用户是否是企业用户  
  17.     def is_company(self,url,headers,id):  
  18.         content=self.get_content(url,headers,id)  
  19.         title=r'行业'  
  20.         company_title=re.compile(title)   
  21.         if company_title.search(content): #使用正则表达式对title进行匹配          
  22.             return 1  
  23.         else:  
  24.             return 0  
  25.           
  26.     #获取用户的weibo信息:ID,主页url,昵称  
  27.     def get_info(self, url,headers,id):  
  28.         flag=self.is_company(url,headers,id)  
  29.         content=self.get_content(url,headers,id)  
  30.         if flag==0:  #如果用户是个人用户              
  31.             #print content  
  32.             #微博ID  
  33.             id_flag=r'\$CONFIG
    \'oid\'
     = \'([0-9].+?)\';'  
  34.             id_re=re.compile(id_flag)  
  35.             id_regx=id_re.search(content)  
  36.             id=id_regx.group(1)  
  37.             print id  
  38.   
  39.             #微博url  
  40.             url_flag=r'<meta http-equiv="mobile-agent" content="format=xhtml;" url="weibo.cn/(.+?)\?'  
  41.             url_re=re.compile(url_flag)  
  42.             url_regx=url_re.search(content)  
  43.             url_0=url_regx.group(1)  
  44.             url='http://weibo.com/'+url_0  
  45.             print url  
  46.               
  47.             #昵称  
  48.             name_flag='<div class="name clearfix">.+?<div class="left">(.+?)<'  
  49.             name_re=re.compile(name_flag,re.S)  
  50.             name_regx=name_re.search(content)  
  51.             name=name_regx.group(1)  
  52.             name=name.decode('utf-8').encode('GBK')  
  53.             print name  
  54.   
  55. def main():              
  56.     headers={"cookie":'NSC_wjq_xfjcp.dpn_w3.6_w4=ffffffff0941137b45525d5f4f58455e445a4a423660; SUS=SID-1806453925-1342851885-XD-hgrjc-03210d75ca203f3ad0d57666a05ae49d; SUE=es%3Deabd0a14bc6e6123c5c4d058d9a2c96f%26ev%3Dv1%26es2%3Db50ae59b82b457a1ba54b2b7708fbb5b%26rs0%3DdP4RVYzORRwV64PFw6wRdNGBk0HP47V8C5SXUp%252F7Q9K2RcduYt4ECQbEDNZk%252Bs8GHDpW5wk%252B3%252FmYKP12zIyQbD1bUMd2wNBgdRX45p2rygizXgHMjH%252FFnU53HJFC2OfSvEHZADJkZD%252BTdLHidgoyy4maajVHi%252B%252B1en0zIKIf3mo%253D%26rv%3D0; SUP=cv%3D1%26bt%3D1342851885%26et%3D1342938285%26d%3Dc909%26i%3D4dc3%26us%3D1%26vf%3D0%26vt%3D0%26ac%3D0%26uid%3D1806453925%26user%3Dqipeng.sdsy%2540163.com%26ag%3D4%26name%3Dqipeng.sdsy%2540163.com%26nick%3D%25E4%25B8%2580%25E5%258C%25B9%25E5%259C%25A8%25E8%25B7%25AF%25E4%25B8%258A%25E7%259A%2584%25E9%25A9%25AC%26fmp%3D%26lcp%3D; SSOLoginState=1342851885; ads_ck=1; UOR=hao.360.cn,weibo.com,spr_web_360_hao360_weibo_t001:1342851234578; _olympicMedalsTable=; ULV=1342851891453:53:53:53:3919105774821.296.1342851890484:1342851070843; SinaRot/u/1806453925=25; [email protected]; __utma=182865017.1486634646.1342787238.1342787238.1342787238.1; __utmz=182865017.1342787238.1.1.utmcsr=weibo.com|utmccn=(referral)|utmcmd=referral|utmcct=/u/1806453925; myuid=1806453925; wvr=4; ALF=1343135290; SinaRot/u/1806453925%3Fgid%3D201108260278357557=77; SinaRot/u/1806453925%3Fc%3Dspr_web_360_hao360_weibo_t001=59; _s_tentry=-; Apache=3919105774821.296.1342851890484; SINAGLOBAL=3919105774821.296.1342851890484; BAYEUX_BROWSER=4e70u68yfp1x9xreh4wbcw2jfhs; JSESSI\  
  57. ONID=3nvoas5ykh0e'}      
  58.     url='http://weibo.com/'  
  59.     print headers  
  60.     page = WeiboClass()  
  61.     page.get_info(url,headers,1842764911)  
  62.   
  63.   
  64. if __name__ == "__main__":  
  65.     main()  

(b)下面给出httplib2的第二个例子

[python] view plaincopy
 
  1. #!/usr/bin/python  
  2. # -*-coding:utf-8 -*-  
  3. import sys;  
  4. import os;  
  5. import urllib2;  
  6. import httplib2;  
  7. import Cookie;  
  8. import random;  
  9. import re;  
  10. import time;  
  11. from urllib import urlencode;  
  12. import hashlib;  
  13. import datetime;  
  14. import socket;  
  15.   
  16. #httplib2.debuglevel=1;  
  17.   
  18. def error_log(log):  
  19.     sys.stderr.write("%s\n" % (log));  
  20.   
  21. class ErrorCode:  
  22.     Succ         = 0;  
  23.     Unknown      = -1; # 未知原因  
  24.   
  25. class SimBrowser :  
  26.     socket.setdefaulttimeout(10); # 超时限制 10秒  
  27.     UserAgent="";  
  28.     cookie=None;  
  29.     httplink = httplib2.Http();      
  30.     httplink.follow_redirects = False;  
  31.     hostname="";      
  32.     def __init__(self, cookie, UserAgent="Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727)"):  
  33.         self.cookie = cookie;  
  34.         self.UserAgent = UserAgent;          
  35.           
  36.     def gen_cookie_str(self):  
  37.         cookiestr = '; '.join(self.cookie.output(attrs=[], header="").split('\r\n'));  
  38.         if len(cookiestr) <= 0:  
  39.             return "";  
  40.         else:  
  41.             return cookiestr;  
  42.     def prepare_request_header(self, header):  
  43.         newheader = {};  
  44.         cookiestr = self.gen_cookie_str();  
  45.         if len(cookiestr) > 0:  
  46.             newheader['Cookie'] = cookiestr;          
  47.         # set agent  
  48.         newheader['User-Agent'] = self.UserAgent;  
  49.           
  50.         # replace or append user specified values in header  
  51.         for key in header.keys():  
  52.             newheader[key] = header[key];  
  53.         return newheader;  
  54.   
  55.     # maintain cookies  
  56.     def maintain_cookie(self, response_header):  
  57.         if 'set-cookie' in response_header:  
  58.             self.cookie.load(response_header['set-cookie']);              
  59.   
  60.     def get_redirect_url(self, prevurl, res):  
  61.         if 'location' not in res:  
  62.             error_log('no location in res');  
  63.             return "";  
  64.   
  65.         location = res['location'];  
  66.         if len(location) <= 0:  
  67.             error_log('location length is zero');  
  68.             return "";  
  69.   
  70.         # check location contain fullpath of target  
  71.         if location.find("http://") != 0:  
  72.             p = re.compile(r"[(http://)]*[.\-_0-9A-Za-z]+");  
  73.             m = p.match(prevurl);  
  74.             if m != None:                  
  75.                 host = m.group();  
  76.                 return host + location;  
  77.             else:  
  78.                 error_log('cannot get host link');  
  79.                 host = "";  
  80.         else:  
  81.             return location;  
  82.   
  83.     def request(self, url, method="GET", headers={}, body="", follow_redirects=False):   
  84.         newheaders = self.prepare_request_header(headers);  
  85.         newurl = url;  
  86.         newbody = body;  
  87.         while (True):  
  88.             try:  
  89.               res, content = self.httplink.request(newurl, method=method, headers=newheaders, body=newbody);  
  90.               self.maintain_cookie(res);  
  91.             except Exception , what:  
  92.                 try:  
  93.                   res, content = self.httplink.request(newurl, method=method, headers=newheaders, body=newbody);  
  94.                   self.maintain_cookie(res);  
  95.                 except Exception , what:   
  96.                     try:  
  97.                       res, content = self.httplink.request(newurl, method=method, headers=newheaders, body=newbody);  
  98.                       self.maintain_cookie(res);  
  99.                     except Exception , what: # 访问获取 三次 不成功返回失败  
  100.                         res='';  
  101.                         content='';  
  102.                         break;  
  103.   
  104.             # check redirects  
  105.             if follow_redirects==False:  
  106.                 break;  
  107.             elif res.status in(300, 301, 302):                  
  108.                 prevurl = newurl;  
  109.                 newheaders = self.prepare_request_header({});  
  110.                 newurl = self.get_redirect_url(prevurl, res);  
  111.                 body = "";  
  112.                 method="GET";  
  113.                 if len(url) > 0:  
  114.                     continue;  
  115.                 else:  
  116.                     sys.stderr.write("Error:failed to get redirect location\n");  
  117.                     break;  
  118.             else:  
  119.                 break;  
  120.         return res, content;  
  121. def main():  
  122.     cookie = Cookie.SimpleCookie();  
  123.     sim = SimBrowser(cookie);  
  124.       
  125.     aurl='http://s.weibo.com/weibo/computer&Refer=STopic_box';  
  126.     myCookie = ('UOR=,weibo.com,; myuid=1369574593; [email protected]; \  
  127. [email protected]; wvr=4; __utma=15428400.565128140.1342666019.13426660\  
  128. 19.1342666019.1; __utmz=15428400.1342666019.1.1.utmcsr=blog.sina.com.cn|utmccn\  
  129. =(referral)|utmcmd=referral|utmcct=/s/blog_84313fa001010n90.html; NSC_wjq_xfjc\  
  130. p.dpn_w3.6_w4=ffffffff0941010945525d5f4f58455e445a4a423660; SSOLoginState=1342\  
  131. 867370; _s_tentry=login.sina.com.cn; Apache=9964875415898.86.1342867464581; UL\  
  132. V=1342867464624:7:7:4:9964875415898.86.1342867464581:1342514299919; SUE=es%3D6\  
  133. c406ebb66f15ce0e5b852efa908d728%26ev%3Dv1%26es2%3D658950facb6ad8c9c8627639f31a\  
  134. 61de%26rs0%3Df6AWRRwcy3r7HJ7y1mdnQR5icnbFHj6Qt%252F6Og2%252FaDBwMtLGJbQhanphxu\  
  135. EWsXCI1CPdl1yhB%252BHNobWvCmQPmF0xjrJhrvxCWAoiiE7D9cPDXQVOvlQPDsAopv10Un5DDuES\  
  136. %252FZcPXtwnaCYnD5hcMAoDinTKgBxbeZ%252FBSiLzvEdQ%253D%26rv%3D0; SUP=cv%3D1%26b\  
  137. t%3D1343009147%26et%3D1343095547%26d%3Dc909%26i%3D3d45%26us%3D1%26vf%3D0%26vt%\  
  138. 3D0%26ac%3D1%26uid%3D1842764911%26user%3Dzhaolianxiang%2540126.com%26ag%3D4%26\  
  139. name%3Dzhaolianxiang%2540126.com%26nick%3DSean%26fmp%3D%26lcp%3D2011-12-25%252\  
  140. 012%253A59%253A36; SUS=SID-1842764911-1343009147-XD-cyk5d-215c6a72f1b3a340c301\  
  141. 533e2b4ce49d; ALF=1343095212; ads_ck=1; SinaRot/z/zhaolianxiang=44; SINAGLOBAL\  
  142. =9964875415898.86.1342867464581; _olympicMedalsTable=; USRHAWB=usrmdins213_206');  
  143.     headers={'Cookie':myCookie,'Content-Type':'application/x-www-form-urlencoded'};  
  144. #    print "myCookie:",myCookie;  
  145. #    body={'path':'GET/material','userid':self.BaiduId,'token':self.token,'params':'{"level":"useracct","fields":["wregion","wbudget","userstat"]}'};  
  146.     #以http的方式向aurl发出get请求,同时将http的头headers发送过去  
  147.     #这个headers包含了用户的登陆的cookies信息。cookies的获取可以通过fiddler软件来查看。  
  148.     res, content = sim.request(aurl,'GET', headers=headers);  
  149.     print "res:",res  #输出http的响应response  
  150.     #将获取的网页内容先解码,再以utf-8的形式编码  
  151.     print "content:",content.decode('unicode-escape').encode('utf-8');  
  152.       
  153.   
  154. if __name__ == "__main__":  
  155.     main();          
  156.           

注:上面的两个程序中的cookies均已失效,需要您通过我上面介绍的方法替换cookies中的内容。

(3)总结

使用cookie登陆抓取指定页面,可以像下面这样,这是一个最简洁的代码

[python] view plaincopy
 
  1. #!/usr/bin/python  
  2. # coding:utf-8   
  3. import httplib2  
  4. import urllib2  
  5. import re #正则表达式模块  
  6.   
  7. class PageClass:  
  8.   
  9.     #获取指定url的网页内容  
  10.     def get_page(self,url,headers):  
  11.         http=httplib2.Http()  
  12.         response,content=http.request(url,'GET',headers=headers)  
  13.         #return content.decode('unicode-escape').encode('utf-8')  
  14.         return content.decode('unicode-escape').encode('utf-8')  
  15.           
  16. def main():              
  17.     headers={"cookie":'your cookie'}  
  18.     url = 'http://fengchao.baidu.com'  
  19.     #print headers  
  20.     page = PageClass()  
  21.     content = page.get_page(url,headers)  
  22.     print content  
  23.   
  24. if __name__ == "__main__":  
  25.     main()  
只需要输入url和headers就可以抓取到指定的页面。这里需要输入你自己的cookie。上面的代码执行后的结果如下,可以看到我们抓取到了内容:

3.XPath

        将抓取到的页面源码,如何进行解析,一般采用下面三种技术:
        (1)lxml的xpath:基于XML的语义进行解析的(推荐)。
        (2)正则表达式(RE):基于纯文本的处理。
        (3)纯字符串处理(不推荐)

        总结:RE对付简单的页面没有问题,如果页面结构复杂度较高的时候,建议采用xpath,因为此时设计一个合适的RE pattern可能会远比写一个xpath要复杂。

        lxml的下载地址:http://pypi.python.org/pypi/lxml/2.3

       上面介绍的httplib2的2个示例均是通过RE(正则表达式)来进行页面解析的。下面我们介绍XPath来进行页面解析想要的内容。

        XPATH基本上是用一种类似目录树的方法来描述在XML文档中的路径。比如用“/”来作为上下层级间的分隔。第一个“/”表示文档的根节点(注意,不是指文档最外层的tag节点,而是指文档本身)。比如对于一个HTML文件来说,最外层的节点应该是”/html”。同样的,“..”和“.”分别被用来表示父节点和本节点。
        XPATH返回的不一定就是唯一的节点,而是符合条件的所有节点。比如在HTML文档里使用“/html/head/scrpt”就会把head里的所有script节点都取出来。
        为了缩小定位范围,往往还需要增加过滤条件。过滤的方法就是用“[”“]”把过滤条件加上。比如在HTML文档里使用“/html/body/div[@id='main']”,即可取出body里id为main的div节点。其中@id表示属性id,类似的还可以使用如@name, @value, @href, @src, @class….  。

         而函数text()的意思则是取得节点包含的文本。比如:<div>hello<p>world</p>< /div>中,用”div[text()='hello']“即可取得这个div,而world则是p的text()。

          函数position()的意思是取得节点的位置。比如“li[position()=2]”表示取得第二个li节点,它也可以被省略为“li[2]”。

          不过要注意的是数字定位和过滤条件的顺序。比如“ul/li[5][@name='hello']”表示取ul下第五项li,并且其name必须是hello,否则返回空。而如果用“ul/li[@name='hello'][5]”的意思就不同,它表示寻找ul下第五个name为”hello“的li节点。
          此外,“*”可以代替所有的节点名,比如用”/html/body/*/span”可以取出body下第二级的所有span,而不管它上一级是div还是p或是其它什么东东。
而 “descendant::”前缀可以指代任意多层的中间节点,它也可以被省略成一个“/”。比如在整个HTML文档中查找id为“leftmenu”的 div,可以用“/descendant::div[@id='leftmenu']”,也可以简单地使用“ //div[@id='leftmenu']”。
        至于“following-sibling::”前缀就如其名所说,表示同一层的下一个节点。”following-sibling::*”就是任意下一个节点,而“following-sibling::ul”就是下一个ul节点。

        下面给出一个示例,其功能为提取百度首页搜索框上面的导航条的内容:

[python] view plaincopy
 
  1. #该程序是对百度的首页进行分析,并提取出其搜索框上面的导航条  
  2. import httplib2  
  3. import urllib2  
  4. import re  
  5. from lxml import etree  
  6.   
  7. def main():  
  8.     http = httplib2.Http()  
  9.     response,content = http.request("http://www.baidu.com",'GET')  
  10.     print "response:",response  
  11.     print "content:",content  
  12.   
  13.     tree = etree.HTML(content)  
  14.   
  15.     #上面的注释为要查找的部分html  
  16.     #<p id=nv><a href=http://news.baidu.com>新闻</a><b>网页</b>  
  17.     #<a href=http://tieba.baidu.com>贴吧</a><a href=http://zhidao.baidu.com>知道</a>  
  18.     #<a href=http://mp3.baidu.com>MP3</a><a href=http://image.baidu.com>图片</a>  
  19.     #<a href=http://video.baidu.com>视频</a><a href=http://map.baidu.com>地图</a></p>  
  20.   
  21.     #下面开始查找id为nv的p标签下的所有<a>的href值  
  22.     hyperlinks = tree.xpath(u'//p[@id="nv"]/a/@href')  
  23.     print "hyperlinks:",hyperlinks  
  24.     for hyperlink in hyperlinks:  
  25.         print "hyperlink:",hyperlink  
  26.           
  27.     #查找id为nv的p标签下的所有<a>节点  
  28.     a_nodes = tree.xpath(u'//p[@id="nv"]/a')  
  29.     print "a_nodes_length:",len(a_nodes)  
  30.     for a_node in a_nodes:  
  31.         print "<a>:",a_node.text,a_node.attrib['href']  
  32.     print "\n"  
  33.   
  34.     #通过正则表达式查找<p id="nv">的标签内容,匹配的内容为正则表达式中的"()"内的内容     
  35.     name_flag='<p id="nv">(.+?)</p>'  
  36.     name_re=re.compile(name_flag,re.S)  
  37.     name_regx=name_re.search(content)  
  38.     print name_regx  
  39.     name=name_regx.group(1)  
  40.     print "name:",name  
  41.           
  42. if __name__ == "__main__":  
  43.     main()  
其执行结果为:

下面对其进行分析:

        首先,对www.baidu.com进行http的get请求,然后将相应的页面结果进行分析。这里我使用了3种方式进行页面分析,前2种方式为使用xpath提取,第3种方式为通过正则表达式匹配提取。程序中有详细的注释。


4.HTMLParser

        该模块是用来解析HTML元素的。可以从HTML中筛选出指定的标签。下面给出一个例子,读取百度首页www.baidu.com中的所有链接,并打印出来。

[python] view plaincopy
 
  1. import HTMLParser  
  2. import urllib  
  3. import sys  
  4.   
  5. #定义HTML解析器  
  6. class parseLinks(HTMLParser.HTMLParser):  
  7.     #该方法用来处理开始标签的,eg:<div id="main">  
  8.     def handle_starttag(self, tag, attrs):  
  9.         if tag == 'a':  #如果为<a>标签  
  10.             #name为标签的属性名,如href、name、id、onClick等等  
  11.             for name,value in attrs:      
  12.                 if name == 'href': #这时选择href属性  
  13.                     print "name_value: ",value  #href属性的值  
  14.                     print "first tag:",self.get_starttag_text() #<a>标签的开始tag  
  15.                     print "\n"  
  16.   
  17. if __name__ == "__main__":  
  18.     #创建HTML解析器的实例  
  19.     lParser = parseLinks()  
  20.     #打开HTML文件  
  21.     lParser.feed(urllib.urlopen("http://www.baidu.com").read())  
  22.     lParser.close()  
        但调用feed函数时,会自动调用handle_starttag函数,这里的handle_starttag函数是对原函数的重写。handle_starttag(self,tag,attrs)中的参数tag是标签的名字;参数attrs是一个(name,value)键值对,是通过查找到tag的<>括号来确定的,其中name是tag的<>中的属性名,value是去除引号后的值。

       上面程序的执行结果如下:(下面的结果只是部分的屏幕截图)

5.正则表达式(RE)

      由于上面涉及到很到正则表达式的匹配问题。下面对Python中的RE使用进行简单的演示和说明。下面给出一段,我测试用的code:

[python] view plaincopy
 
  1. import re    
  2.     
  3. text = "JGood is a handsome booy, he is cool, clever, and so on..."    
  4. regex1 = re.match(r"\w*oo\w*", text)    
  5. if regex1:    
  6.     print "regex1:" , regex1  
  7.     print "result1:" ,regex1.group(0)    
  8. else:    
  9.     print 'not match'  
  10. print "\n"  
  11.   
  12. regex2 = re.compile(r'(\w*oo\w*)')  
  13. print "result2:" , regex2.findall(text)  
  14. print "\n"  
  15.   
  16. regex3 = re.compile(r'(\w*oo\w*).+?(\w*eve\w*).*')  
  17. regex3_result = regex3.search(text)  
  18. if regex3_result:   
  19.     print "regex3:", regex3  
  20.     print " result3:",regex3_result.group(1)," ",regex3_result.group(2)  
  21. else:  
  22.     print 'not match'  
程序的运行结果:

下面简单的讲解一下:

        regex1是通过match方法进行匹配,match只匹配字符串的开始,如果字符串开始不符合正则表达式,则匹配失败,函数返回None;regex2是通过findall,查找所有满足的匹配;regex3是通过search匹配整个字符串,直到找到一个匹配。

        对于regex3_result.group(1),regex3_result.group(2)是什么意思呢,我搞了半天才弄明白。group(i)表示匹配的正则表达式"()"中的内容。如regex3_result.group(1)表示匹配的正则表达式中第一个()内的内容,regex3_result.group(2)表示匹配的正则表达式中第二个“()”的对应的字符串。group(0)表示整个表达式。group是从左向右计数的,从1开始。组可以被嵌套。计数的数值可以通过从左到右计算打开的括号数来确定。

再给出一个小例子,一目了然:

[python] view plaincopy
 
  1. #!python  
  2. >>> p = re.compile('(a(b)c)d')  
  3. >>> m = p.match('abcd')  
  4. >>> m.group(0)  
  5. 'abcd'  
  6. >>> m.group(1)  
  7. 'abc'  
  8. >>> m.group(2)  
  9. 'b'  

6.如何判断网络连接

有的软件如果需要访问网络,这时我们就需要定时地检测网络的连接,下面的代码给出了如何检测网络连接:当连接时返回1;当网络断掉时返回0。原理就是通过http去请求网页,如果能够请求到则网络正常,如果请求出现异常则网络断掉。

[python] view plaincopy
 
  1. def check_network():  
  2.     import httplib2  
  3.     try:  
  4.         http = httplib2.Http()  
  5.         resp, content = http.request("http://www.baidu.com")  
  6.     except:  
  7.         return 0  
  8.     return 1 

标题:Python中网络页面抓取和页面分析
地址:http://www.seozoe.com/news/zx/535.html _北京SEO
声明:非特殊说明,本文为本站原创(翻译)文章,转载请注明:本文转自:北京SEO启点网络_启点


请您留下您的小脚印:

服务支持

我们珍惜您每一次在线询盘,有问必答,用专业的态度,贴心的服务。

让您真正感受到我们的与众不同!

合作流程

合作流程

网站制作流程从提出需求到网站制作报价,再到网页制作,每一步都是规范和专业的。

常见问题

常见问题

提供什么是网站定制?你们的报价如何?等网站建设常见问题。

常见问题

售后保障

网站制作不难,难的是一如既往的热情服务及技术支持。我们知道:做网站就是做服务,就是做售后。