作者：卧颜沉默
链接：https://www.zhihu.com/question/36909173/answer/97643000
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

最近写了一个基于JAVA的知乎爬虫，抓取知乎用户基本信息。
基于HttpClient 4.5的
在服务器上跑着的
到现在抓取了60W+用户


可以对这些数据做简单的挖掘，可以得到很多有趣的信息。

下面说下我的大致思路:
1.首先模拟登录知乎，登录成功后将Cookie序列化到磁盘，不用以后每次都登录（如果不模拟登录，可以直接从浏览器塞入Cookie也是可以的）。


模拟登录通过浏览器F12抓包分析登录过程，需要注意的是验证码的获取和登录过程只能通过一个CloseHttpClient对象完成，CloseHttpClient就好比一个浏览器。不能每次请求都创建对象，不然Cookie失效了。


模拟登录关键代码如下，是通过邮箱登录方式，手机号码登录的方式类似

1. 作者：卧颜沉默
   
2. 链接：https://www.zhihu.com/question/36909173/answer/97643000
   
3. 来源：知乎
   
4. 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
   
5. 
   
6.     /**
   
7.      *
   
8.      * @param httpClient Http客户端
   
9.      * @param context Http上下文
   
10.      * @return
    
11.      */
    
12. public boolean login(CloseableHttpClient httpClient, HttpClientContext context){
    
13. String yzm = null;
    
14. String loginState = null;
    
15. HttpGet getRequest = new HttpGet("https://www.zhihu.com/#signin");
    
16. HttpClientUtil.getWebPage(httpClient,context, getRequest, "utf-8", false);
    
17. HttpPost request = new HttpPost("https://www.zhihu.com/login/email");
    
18. List<NameValuePair> formParams = new ArrayList<NameValuePair>();
    
19. yzm = yzm(httpClient, context,"https://www.zhihu.com/captcha.gif?type=login");//肉眼识别验证码
    
20. formParams.add(new BasicNameValuePair("captcha", yzm));
    
21. formParams.add(new BasicNameValuePair("_xsrf", ""));//这个参数可以不用
    
22. formParams.add(new BasicNameValuePair("email", "邮箱"));
    
23. formParams.add(new BasicNameValuePair("password", "密码"));
    
24. formParams.add(new BasicNameValuePair("remember_me", "true"));
    
25. UrlEncodedFormEntity entity = null;
    
26. try {
    
27. entity = new UrlEncodedFormEntity(formParams, "utf-8");
    
28. } catch (UnsupportedEncodingException e) {
    
29. e.printStackTrace();
    
30. }
    
31. request.setEntity(entity);
    
32. loginState = HttpClientUtil.getWebPage(httpClient,context, request, "utf-8", false);//登录
    
33. JSONObject jo = new JSONObject(loginState);
    
34. if(jo.get("r").toString().equals("0")){
    
35. System.out.println("登录成功");
    
36. getRequest = new HttpGet("https://www.zhihu.com");
    
37. HttpClientUtil.getWebPage(httpClient,context ,getRequest, "utf-8", false);//访问首页
    
38. HttpClientUtil.serializeObject(context.getCookieStore(),"resources/zhihucookies");//序列化知乎Cookies，下次登录直接通过该cookies登录
    
39. return true;
    
40. }else{
    
41. System.out.println("登录失败" + loginState);
    
42. return false;
    
43. }
    
44. }
    
45. /**
    
46.      * 肉眼识别验证码
    
47.      * @param httpClient Http客户端
    
48.      * @param context Http上下文
    
49.      * @param url 验证码地址
    
50.      * @return
    
51.      */
    
52. public String yzm(CloseableHttpClient httpClient,HttpClientContext context, String url){
    
53. HttpClientUtil.downloadFile(httpClient, context, url, "d:/test/", "1.gif",true);
    
54. Scanner sc = new Scanner(System.in);
    
55. String yzm = sc.nextLine();
    
56. return yzm;
    
57. }
    
58. HttpClientUtil工具类
    
59. /**
    
60. * HttpClient工具类
    
61. */
    
62. public class HttpClientUtil {
    
63.         private static Logger logger = MyLogger.getMyLogger(HttpClientUtil.class);
    
64.         public static void main(String args []){
    
65.         }
    
66.         /**
    
67.          *
    
68.          * @param httpClient HttpClient客户端
    
69.          * @param context 上下文
    
70.          * @param request 请求
    
71.          * @param encoding 字符编码
    
72.          * @param isPrintConsole 是否打印到控制台
    
73.      * @return 网页内容
    
74.      */
    
75.         public static String getWebPage(CloseableHttpClient httpClient
    
76.                         , HttpClientContext context
    
77.                         , HttpRequestBase request
    
78.                         , String encoding
    
79.                         , boolean isPrintConsole){
    
80.                 CloseableHttpResponse response = null;
    
81.                 try {
    
82.                         response = httpClient.execute(request,context);
    
83.                 } catch (HttpHostConnectException e){
    
84.                         e.printStackTrace();
    
85.                         logger.error("HttpHostConnectException",e);
    
86.                 } catch (IOException e) {
    
87.                         e.printStackTrace();
    
88.                         logger.error("IOException",e);
    
89.                 }
    
90.                 System.out.println("status---" + response.getStatusLine().getStatusCode());
    
91.                 BufferedReader rd = null;
    
92.                 StringBuilder webPage = null;
    
93.                 try {
    
94.                         rd = new BufferedReader(
    
95.                     new InputStreamReader(response.getEntity().getContent(),encoding));
    
96.                         String line = "";
    
97.                         webPage = new StringBuilder();
    
98.                         while((line = rd.readLine()) != null) {
    
99.                                 webPage.append(line);
    
100.                                 if(isPrintConsole){
     
101.                                         System.out.println(line);
     
102.                                 }
     
103.                         }
     
104.                 } catch (IOException e) {
     
105.                         e.printStackTrace();
     
106.                 }
     
107.                 request.releaseConnection();
     
108.                 return webPage.toString();
     
109.         }
     
110.         /**
     
111.          * 序列化对象
     
112.          * @param object
     
113.          * @throws Exception
     
114.          */
     
115.         public static void serializeObject(Object object,String filePath){
     
116.                 OutputStream fos = null;
     
117.                 try {
     
118.                         fos = new FileOutputStream(filePath);
     
119.                         ObjectOutputStream oos = new ObjectOutputStream(fos);
     
120.                         oos.writeObject(object);
     
121.                         System.out.println("序列化成功");
     
122.                         oos.flush();
     
123.                         fos.close();
     
124.                         oos.close();
     
125.                 } catch (FileNotFoundException e) {
     
126.                         e.printStackTrace();
     
127.                 } catch (IOException e) {
     
128.                         e.printStackTrace();
     
129.                 }
     
130.         }
     
131.         /**
     
132.          * 反序列化对象
     
133.          * @param name
     
134.          * @throws Exception
     
135.          */
     
136.         public static Object antiSerializeMyHttpClient(String name){
     
137.                 InputStream fis = HttpClientUtil.class.getResourceAsStream(name);
     
138.                 ObjectInputStream ois = null;
     
139.                 Object object = null;
     
140.                 try {
     
141.                         ois = new ObjectInputStream(fis);
     
142.                         object = ois.readObject();
     
143.                         fis.close();
     
144.                         ois.close();
     
145.                 } catch (IOException e) {
     
146.                         e.printStackTrace();
     
147.                         logger.error("IOException",e);
     
148.                 } catch (ClassNotFoundException e) {
     
149.                         e.printStackTrace();
     
150.                         logger.error("ClassNotFoundException",e);
     
151.                 } catch (NullPointerException e){
     
152.                         e.printStackTrace();
     
153.                         logger.error("NullPointerException",e);
     
154.                 }
     
155.                 System.out.println("反序列化成功 ");
     
156.                 return object;
     
157.         }
     
158.         /**
     
159.          * 设置Cookies策略
     
160.          * @return CloseableHttpClient
     
161.          */
     
162.         public static CloseableHttpClient getMyHttpClient(){
     
163.                 CloseableHttpClient httpClient = null;
     
164.                 RequestConfig globalConfig = RequestConfig.custom()
     
165.                                 .setCookieSpec(CookieSpecs.BROWSER_COMPATIBILITY)
     
166.                                 .build();
     
167.                 httpClient = HttpClients.custom()
     
168.                                 .setDefaultRequestConfig(globalConfig)
     
169.                                 .build();
     
170.                 return httpClient;
     
171.         }
     
172.         /**
     
173.          * 设置上下文
     
174.          * @return HttpClientContext
     
175.          */
     
176.         public static HttpClientContext getMyHttpClientContext(){
     
177.                 HttpClientContext context = null;
     
178.                 context = HttpClientContext.create();
     
179.                 Registry<CookieSpecProvider> registry = RegistryBuilder
     
180.                                 .<CookieSpecProvider> create()
     
181.                                 .register(CookieSpecs.BEST_MATCH, new BestMatchSpecFactory())
     
182.                                 .register(CookieSpecs.BROWSER_COMPATIBILITY,
     
183.                                                 new BrowserCompatSpecFactory()).build();
     
184.                 context.setCookieSpecRegistry(registry);
     
185.                 return context;
     
186.         }
     
187.         }

复制代码

受教受教受教受教受教！

大神!!!!!!!!!这个可以做黑客吗?

哇塞,都写到爬虫了!!!!感觉真棒!!!我感觉爬虫挺难写的,不过,只能说,会者不难,难者不会!!!!棒棒哒!!!!