Python天气预报采集器（网页爬虫）
python是一门很强大的语言，在实现爬虫方面也十分方便。
这个天气预报采集是从 中国天气网 提取广东省内主要城市的天气并回显。本来是打算采集腾讯天气的，但是貌似它的数据是用js写上去还是什么的，得到的html文本中不包含数据，所以就算了。
爬虫简单说来包括两个步骤：获得网页文本、过滤得到数据。
1、获得html文本。
python在获取html方面十分方便，寥寥数行代码就可以实现我们需要的功能。
1 def getHtml(url): 2 page = urllib.urlopen(url) 3 html = page.read() 4 page.close() 5 return html
这么几行代码相信不用注释都能大概知道它的意思。
2、根据正则表达式等获得需要的内容。
使用正则表达式时需要仔细观察该网页信息的结构，并写出正确的正则表达式。
python正则表达式的使用也很简洁。我的上一篇文章《 Python的一些用法 》介绍了一点正则的用法。这里需要一个新的用法：
1 def getWeather(html): 2 reg = ' <a title=.*?>(.*?)</a>.*?<span>(.*?)</span>.*?<b>(.*?)</b> ' 3 weatherList = re.compile(reg).findall(html) 4 return weatherList
其中reg是正则表达式，html是第一步获得的文本。findall()的作用是找到html中所有符合正则匹配的字符串并存放到weatherList中。之后再枚举weatheList中的数据输出即可。
这里的正则表达式reg有两个地方要注意。
一个是“(.*?)”。只要是“()”中的内容都是我们将要获得的内容，如果有多个括号，那么findall的每个结果就都包含这几个括号中的内容。上面有三个括号，分别对应城市、最低温和最高温。
另一个是“.*?”。python的正则匹配默认是贪婪的，即默认尽可能多地匹配字符串。如果在末尾加上问号，则表示非贪婪模式，即尽可能少地匹配字符串。在这里，由于有多个城市的信息需要匹配，所以需要使用非贪婪模式，否则匹配结果只剩下一个，且是不正确的。
补充上爬虫结果的截图：
python的使用确实十分方便：）
分类: Python
标签: 编程 , Python
作者： Leo_wl
出处： http://www.cnblogs.com/Leo_wl/
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。
版权信息查看更多关于Python天气预报采集器（网页爬虫）的详细内容...