python有哪些好玩的应用实现，用python爬虫做一... - 黑马程序员技术交流社区

python 爬虫常用模块：

Python标准库——urllib模块

功能：打开URL和http协议之类

注：python 3.x中urllib库和urilib2库合并成了urllib库。其中urllib2.urlopen()变成了urllib.request.urlopen()，urllib2.Request()变成了urllib.request.Request()

urllib请求返回网页

urllib.request.urlopen

urllib.request.open(url[,data,[timeout,[cafile,[capth[,cadefault,[context]]]]]])

urllib.requset.urlioen可以打开HTTP（主要）、HTTPS、FTP、协议的URL

data 以post方式提交URL时使用

url 提交网络地址（全程前端需协议名后端需端口 http://www.smpeizi.com）

timeout 超时时间设置

函数返回对象有三个额外的方法

geturl() 返回response的url信息

常用与url重定向info()返回response的基本信息

getcode()返回response的状态代码

#coding:utf-8

import urllib.request

import time

import platform

#清屏函数(无关紧要可以不写)

def clear():

print(u"内容过多 3秒后清屏")

time.sleep(3)

OS = platform.system()

if (OS == u'Windows'):

os.system('cls')

else:

os.system('clear')

#访问函数

def linkbaidu():

url = 'http://www.pzzs168.com'

try:

response = urllib.request.urlopen(url,timeout=3)

except urllib.URLError:

print(u'网络地址错误')

exit()

with open('/home/ifeng/PycharmProjects/pachong/study/baidu.txt','w') as fp:

response = urllib.request.urlopen(url,timeout=3)

fp.write(response.read())

print(u'获取url信息，response.geturl()\n:%s'%response.getrul())

print(u'获取返回代码，response.getcode()\n:%s' % response.getcode())

print(u'获取返回信息，response.info()\n:%s' % response.info())

print(u"获取的网页信息经存与idiancai.com")

if __name__ =='main':

linkbaidu()

Python标准库–logging模块

logging模块能够代替print函数的功能，将标准输出到日志文件保存起来，利用loggin模块可以部分替代debug

sys.argv(返回一个列表，包含所有的命令行)

sys.exit(退出程序)

urllib和re配合使用已经太落后，现在主流的是Scrapy框架