A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

[size=13.333333015441895px]html = '''<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title a " name="dromouse"><b>The Dormouse's story</b></p>
<p class="story b">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
</body></html>'''
[size=13.333333015441895px]XPath简介
[size=13.333333015441895px]XPath,全称XML Path Language,即XML路径语言,可以在XML,HTML文档中查找信息的语言,XPath的选择功能十分强大,提供了非常简明了的路径选择表达式。更多的文档可以访问其官方网站,http://www.w3.org/TR/xpath/
[size=13.333333015441895px]XPath常用规则
[size=13.333333015441895px]nodename   选择此节点的所有子节点
[size=13.333333015441895px]/  从当前节点选择直接子节点
[size=13.333333015441895px]// 从当前节点选择子孙节点
[size=13.333333015441895px]. 选取当前节点
[size=13.333333015441895px] ..  选取当前节点的父节点
[size=13.333333015441895px] @  选取属性
[size=13.333333015441895px]准备工作
[size=13.333333015441895px]安装lxml   命令管理窗口 pip install lxml
[size=13.333333015441895px]XPath功能
[size=13.333333015441895px][size=1em]
[backcolor=rgb(244, 244, 244) !important]1

[backcolor=rgb(244, 244, 244) !important]from lxml import etree<br>html_data = etree.HTML(html)  #声明为HTML文本 且etree可以自动修复HTML文本<br>print(etree.tostring(html_data).decode("utf-8"))   #tostring输出完善后的html文本 decode将 bytes->str类型



[size=13.333333015441895px]所有节点  
[size=13.333333015441895px][size=1em]
[backcolor=rgb(244, 244, 244) !important]1

[backcolor=rgb(244, 244, 244) !important]result = html_data.xpath("//*") #表示选取所有节点<br>result1 = html_data.xpath("//p")  # 表示选取所有p节点<br>print(result1)<br>#运行结果为<br>[<Element p at 0x1f7d6abf888>, <Element p at 0x1f7d67e4748>, <Element p at 0x1f7d67e4288>]<br>



[size=13.333333015441895px] 子节点 
[url=][/url]
result_children = html_data.xpath("//body/p")  #选取body节点里所有p节点
result_children1 = html_data.xapth("//body/a")
print(result_children1)
#运行结果为
[]
#通过上述程序表明//用于获取子孙节点 /用于获取直接子节点 ,而a节点不为body节点的直接子节点[url=][/url]

[size=13.333333015441895px]父节点
[url=][/url]
#第一种方法
print
(html_data.xpath('//a[@class="sister"]/../@class')) #获取a节点父节点p节点的class对应的值a节点为第一个a节点
#运行结果为
['story']
第二种方法
result = html_data.xpath('//a[@class="sister"]/parent::*/@class') #通过parent::来获取父节点[url=][/url]

[size=13.333333015441895px]属性匹配
[url=][/url]
result = html_data.xpath('//a[@class="sister"]') #选取所有class值为sister的节点
print(result)
运行结果为
[<Element a at 0x1f7d696d848>, <Element a at 0x1f7d67e4288>, <Element a at 0x1f7d6abf888>]
#获取文本
result = html_data.xpath('//a[2][@class="sister"]/./text()') #获得第二个a节点的文本值
print(result)
#运行结果为
['Lacie']
#获取属性值
result = html_data.xpath('//a[2][@class="sister"]/@href') #获取第二个a节点的href值
print(result)
#运行结果为
['http://example.com/lacie'][url=][/url]

[size=13.333333015441895px]多种属性值匹配

[url=][/url]
result = html_data.xpath('//p[contains(@class,"b")]/a/text()') #获取所有p节点下的a节点的文本
print(result)
#运行结果为
['Lacie', 'Tillie']
#多属性匹配
result = html_data.xpath('//a[contains(@class,"sister") and @id="link2"]//text()') #获取第二个节点a的文本值
print(result)
#输出结果为
['Lacie'][url=][/url]


[size=13.333333015441895px]按序选择
result = html_data.xpath('//a[last()-1]//text()') #选取倒数第二个a节点的文本值
result1=html_data.xpath('//a[position()<3]//text()') #选取位置序号小于3的a节点 由于第一个a节点的文本值为空
#输出结果为
print(result)
['Lacie']

[size=13.333333015441895px]节点轴选择
[url=][/url]
result = html_data.xpath('//a[1][@id="link1"]/ancestor::*') #获取所有第一个a节点的所有祖先节点
#输出结果为[<Element html at 0x1f7d6a35488>, <Element body at 0x1f7d67e4cc8>, <Element p at 0x1f7d67e4ec8>]
result = html_data.xpath('//a[1][@id="link1"]/ancestor::p')#获取p祖先节点
#接下来便不再提供输出结果,有兴趣者可以自行编写
result = html_data.xpath('//a[2][@id="link2"]/attribute::*')#获取第二个a节点的所有属性值
result = html_data.xpath('//p[contains(@class,"story")]/child::a[@id="link2"]')#调用child轴,可以获取所有子节点,并且限定获取id=link2的a节点
result = html_data.xpath('//body/descendant::b') #获取body子孙节点,并且只获取子孙节点b
result = html_data.xpath('//p/following-sibling::*') #获取当前节点之后所有的同级节点[url=][/url]



1 个回复

正序浏览
有问题欢迎联系小优:DKA-2018
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马