如果你也听说过炫酷的爬虫，却一直没有成功实现自制的想法，这篇教程会帮上忙。

今天,咱们先来看一下如何制作一个能运行的极简爬虫。做中学。

DIY骨干爬虫-单网页版

首先下载 python 2,我们将制作一个名为骨干爬虫的Python爬虫程序：

爬虫是干嘛的？

是用来自动下载网络上东西的程序，不详细举例了。

爬虫的运行步骤

• 获取指定的网页的地址对应网页数据X
• 从X中用正则匹配出你需要的信息:
  
  • 新网址Y：访问goto 1或保存（简单爬虫就不管啦，哈哈哈）
  • 你需要的内容T：保存
  • 需要获取的文件的路径P:保存
    
  
  

概念上的难点

• 如何爬?-遍历新网页保存本网页连接们的方式
• 获取信息-如何保存图片或者其他文件?有API，直接调用
  

你需要做的事情

• 找到你需要的文件(图片,rar随便什么)在网页中的地址
• 设计一个正则表达式匹配它
  

行动

无论你使用python2还是3,我给出两个版本的代码，你可以看到他们的区别很小

复制下面的内容到python2的编辑器里，运行。查看images里面的内容如果成功它里面会有一些图片：

#python 2.*的代码

from urlparse import urlsplit

from os.path import basename

import urllib2

import re

import requests

import os

import json

url = 'http://www.juemei.com/mm/'#你的网址

if not os.path.exists('images'):

    os.mkdir("images")

#1. 伪装啊

header = {

    'User-Agent': "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0",

    'Host': "www.baidu.com",#伪装来源,斗智斗勇

    'Referer': url

}

#下载一个网页

url_content = urllib2.urlopen(url).read()

#正则匹配你要下载的文件网址

img_urls = re.findall('img .*?src="(.*?.jpg)"',url_content)

#循环处理匹配到文件网址

for img_url in img_urls:

    try:

        #获取循环网址之一的远程文件的数据

        img_data = urllib2.urlopen(img_url).read()

        #让它在本地的名字也是服务器上的名字

        file_name = basename(urlsplit(img_url)[2])

        #保存

        output = open('images/' + file_name, 'wb')

        output.write(img_data)

        output.close()

        #try except 一旦下载某个文件失败就跳过这个文件

    except:

        pass

Python3

#python 3.*

from urllib.parse import urlsplit

from os.path import basename

import urllib.request

import re

import requests

import os

import json

url = 'http://www.juemei.com/mm/'#你的网址

if not os.path.exists('images'):

    os.mkdir("images")

#1. 伪装啊

header = {

    'User-Agent': "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0",

    'Host': "www.baidu.com",#伪装来源,斗智斗勇

    'Referer': url

}

#下载一个网页

url_content = urllib.request.urlopen(url).read()

url_content = url_content.decode('utf-8')

#正则匹配你要下载的文件网址

img_urls = re.findall('img .*?src="(.*?.jpg)"',url_content)

#循环处理匹配到文件网址

for img_url in img_urls:

    try:

        #获取循环网址之一的远程文件的数据

        img_data = urllib.request.urlopen(img_url).read()

        #让它在本地的名字也是服务器上的名字

        file_name = basename(urlsplit(img_url)[2])

        #保存

        output = open('images/' + file_name, 'wb')

        output.write(img_data)

        output.close()

        #try except 一旦下载某个文件失败就跳过这个文件

    except:

        pass

可能遇到的障碍

• 找不到requests
  

执行下面命令,来安装requests:

C:\Python27>python.exe -m pip install requests

如果你连pip都没有安装，你需要重新安装python2，并选中所有的勾。

• 找不到文件夹images
  它在你保存的py文件的同目录下.
  

效果

作者：疯狂的石头实验室
来源：https://blog.csdn.net/dalerkd/article/details/72889392

奈斯