Python中使用BeautifulSoup库的超详细教程

（3）节点内容

知识点：.string 属性

如果tag只有一个 NavigableString 类型子节点,那么这个tag可以使用 .string 得到子节点。如果一个tag仅有一个子节点,那么这个tag也可以使用 .string 方法, 输出结果与当前唯一子节点的 .string 结果相同。

通俗点说就是：如果一个标签里面没有标签了，那么 .string 就会返回标签里面的内容。如果标签里面只有唯一的一个标签了，那么 .string 也会返回最里面的内容。例如

print soup.head.string
#The Dormouse's story
print soup.title.string
#The Dormouse's story
 

如果tag包含了多个子节点,tag就无法确定，string 方法应该调用哪个子节点的内容, .string 的 输出结果是 None

print soup.html.string
# None
 

（4）多个内容

知识点： .strings .stripped_strings 属性

.strings

获取多个内容，不过需要遍历获取，比如下面的例子

for string in soup.strings:
  print(repr(string))
  # u"The Dormouse's story"
  # u'\n\n'
  # u"The Dormouse's story"
  # u'\n\n'
  # u'Once upon a time there were three little sisters; and their names were\n'
  # u'Elsie'
  # u',\n'
  # u'Lacie'
  # u' and\n'
  # u'Tillie'
  # u';\nand they lived at the bottom of a well.'
  # u'\n\n'
  # u'...'
  # u'\n'
 

.stripped_strings

输出的字符串中可能包含了很多空格或空行,使用 .stripped_strings 可以去除多余空白内容

for string in soup.stripped_strings:
  print(repr(string))
  # u"The Dormouse's story"
  # u"The Dormouse's story"
  # u'Once upon a time there were three little sisters; and their names were'
  # u'Elsie'
  # u','
  # u'Lacie'
  # u'and'
  # u'Tillie'
  # u';\nand they lived at the bottom of a well.'
  # u'...'
 

（5）父节点

知识点： .parent 属性

p = soup.p
print p.parent.name
#body
 
content = soup.head.title.string
print content.parent.name
#title
 

（6）全部父节点

知识点：.parents 属性

通过元素的 .parents 属性可以递归得到元素的所有父辈节点，例如

content = soup.head.title.string
for parent in content.parents:
  print parent.name
 

title
head
html
[document]
 

（7）兄弟节点

知识点：.next_sibling .previous_sibling 属性

兄弟节点可以理解为和本节点处在统一级的节点，.next_sibling 属性获取了该节点的下一个兄弟节点，.previous_sibling 则与之相反，如果节点不存在，则返回 None

注意：实际文档中的tag的 .next_sibling 和 .previous_sibling 属性通常是字符串或空白，因为空白或者换行也可以被视作一个节点，所以得到的结果可能是空白或者换行

print soup.p.next_sibling
#    实际该处为空白
print soup.p.prev_sibling
#None  没有前一个兄弟节点，返回 None
print soup.p.next_sibling.next_sibling
#
Once upon a time there were three little sisters; and their names were
# ,
#Lacie and
#Tillie;
#and they lived at the bottom of a well.
#下一个节点的下一个兄弟节点是我们可以看到的节点
 

（8）全部兄弟节点

知识点：.next_siblings .previous_siblings 属性

通过 .next_siblings 和 .previous_siblings 属性可以对当前节点的兄弟节点迭代 输出

for sibling in soup.a.next_siblings:
  print(repr(sibling))
  # u',\n'
  # Lacie
  # u' and\n'
  # Tillie
  # u'; and they lived at the bottom of a well.'
  # None
 

（9）前后节点

知识点：.next_element .previous_element 属性

与 .next_sibling .previous_sibling 不同，它并不是针对于兄弟节点，而是在所有节点，不分层次

比如 head 节点为

The Dormouse's story

那么它的下一个节点便是 title，它是不分层次关系的

print soup.head.next_element
# The Dormouse's story 
 

（10）所有前后节点

知识点：.next_elements .previous_elements 属性

通过 .next_elements 和 .previous_elements 的迭代器就可以向前或向后访问文档的解析内容,就好像文档正在被解析一样

for element in last_a_tag.next_elements:
  print(repr(element))
# u'Tillie'
# u';\nand they lived at the bottom of a well.'
# u'\n\n'
# 
...
# u'...'
# u'\n'
# None
 

7.搜索文档树
（1）find_all( name , attrs , recursive , text , **kwargs )

find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件

1）name 参数

name 参数可以查找所有名字为 name 的tag,字符串对象会被自动忽略掉

A.传字符串

最简单的过滤器是字符串.在搜索方法中传入一个字符串参数,Beautiful Soup会查找与字符串完整匹配的内容,下面的例子用于查找文档中所有的标签

soup.find_all('b')
# [The Dormouse's story ]
 
print soup.find_all('a')
#[ , Lacie, Tillie]
 

import re
for tag in soup.find_all(re测试数据pile("^b")):
  print(tag.name)
# body
# b
 

soup.find_all(["a", "b"])
# [The Dormouse's story ,
# Elsie,
# Lacie,
# Tillie]
 

for tag in soup.find_all(True):
  print(tag.name)
# html
# head
# title
# body
# p
# b
# p
# a
# a
 

def has_class_but_no_id(tag):
  return tag.has_attr('class') and not tag.has_attr('id')
 

soup.find_all(has_class_but_no_id)
# [
The Dormouse's story 
,
# 
Once upon a time there were...
,
# 
...
]
 

soup.find_all(id='link2')
# [Lacie]
 

soup.find_all(href=re测试数据pile("elsie"))
# [Elsie]
 

soup.find_all(href=re测试数据pile("elsie"), id='link1')
# [three]
 

soup.find_all("a", class_="sister")
# [Elsie,
# Lacie,
# Tillie]
 

soup.find_all("a", class_="sister")
# [Elsie,
# Lacie,
# Tillie]
 

data_soup.find_all(attrs={"data-foo": "value"})
# [
foo!

      
查看更多关于Python中使用BeautifulSoup库的超详细教程的详细内容...
        

          
声明：本文来自网络，不代表【好得很程序员自学网】立场，转载请注明出处：http://www.haodehen.cn/did88624