网络爬虫如何选择java和python语言 - 黑马程序员技术交流社区

在网络爬虫界中，有一种说法，不用java语言就要用python语言，两种语言是网络爬虫最常见的使用语言。以下们就来分析下两种爬虫语言的区别。

python语言作为动态语言，一般适合于那些初学编程的的爬虫者，也支持调用爬虫代理IP，python作为爬虫语言更为简单，爬虫中使用python语言，适合高速下载，python爬虫支持多线程，而且在多线程的基础上能快速的下载和分析。尤其是python的scrapy框架，支持更高级的数据采集，用于抓取页面中的结构化的数据，Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。总的来说python语言使用方便，抓取简单。

java语言相对python语言就不一样，java语言是也是动态的。java语言也非常简单易学，而python的语法比java的语言调用起来简单很多，当然java同时也支持调用爬虫代理IP，而且java语言的安全性和可靠性非常稳定。

对于一般的爬虫任务，java和python语言都可以支持，如果要采集登陆网站可以用python语言，如果要分析网页数据结构的详细信息可以选择java语言。

python语言scrapy框架调用代码：

[AppleScript] 纯文本查看 复制代码

        #! -*- encoding:utf-8 -*-

        import base64            

        import sys

        import random



        PY3 = sys.version_info[0] >= 3



        def base64ify(bytes_or_str):

            if PY3 and isinstance(bytes_or_str, str):

                input_bytes = bytes_or_str.encode('utf8')

            else:

                input_bytes = bytes_or_str



            output_bytes = base64.urlsafe_b64encode(input_bytes)

            if PY3:

                return output_bytes.decode('ascii')

            else:

                return output_bytes



        class ProxyMiddleware(object):                

            def process_request(self, request, spider):

                # 代理服务器(产品官网 www.16yun.cn)

                proxyHost = "t.16yun.cn"

                proxyPort = "31111"



                # 代理验证信息

                proxyUser = "username"

                proxyPass = "password"



                request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort)



                # 添加验证头

                encoded_user_pass = base64ify(proxyUser + ":" + proxyPass)

                request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass                    



                # 设置IP切换头(根据需求)

                tunnel = random.randint(1,10000)

                request.headers['Proxy-Tunnel'] = str(tunnel)