黑马程序员技术交流社区

标题: 如何用JAVA写一个知乎爬虫？（二） [打印本页]

---

作者: jacobsnow    时间: 2016-5-2 10:08
标题: 如何用JAVA写一个知乎爬虫？（二）
2.创建两个线程池和一个Storage。一个抓取网页线程池，负责执行request请求，并返回网页内容，存到Storage中。另一个是解析网页线程池，负责从Storage中取出网页内容并解析，解析用户资料存入数据库，解析该用户关注的人的首页，将该地址请求又加入抓取网页线程池。一直循环下去。
3.关于url去重，我是直接将访问过的链接md5化后存入数据库，每次访问前，查看数据库中是否存在该链接。

1. public class CrawlZhiHu {
   
2.     private static Logger logger = MyLogger.getMyLogger(CrawlZhiHu.class);
   
3.     private Storage storage = null;
   
4.     public CrawlZhiHu(){
   
5.         storage = new Storage();
   
6.     }
   
7.     public static void main(String[] args) throws Exception{
   
8.         ZhihuHttpClient zhClient = new ZhihuHttpClient();
   
9.         CrawlZhiHu crawlZhiHu= new CrawlZhiHu();
   
10.         crawlZhiHu.getZhiHu(zhClient, "https://www.zhihu.com/people/wo-yan-chen-mo/followees");
    
11.     }
    
12. public void getZhiHu(ZhihuHttpClient zhClient, String startUrl){
    
13.         System.out.print("请输入要抓取的用户数量:");
    
14.         int crawlUserCount = new Scanner(System.in).nextInt();
    
15.         ThreadPoolMonitor et1,et2;//监测线程池执行情况
    
16. ThreadPoolExecutor getWebPagethreadPool = new ThreadPoolExecutor(5, 10, 3, TimeUnit.SECONDS,
    
17.                 new ArrayBlockingQueue<Runnable>(1000), new ThreadPoolExecutor.DiscardOldestPolicy());
    
18. MyThreadPoolExecutor parseWebPagethreadPool = new MyThreadPoolExecutor(1, 1, 3, TimeUnit.SECONDS,
    
19.                 new ArrayBlockingQueue<Runnable>(1000), new ThreadPoolExecutor.DiscardOldestPolicy(),storage);
    
20.         HttpGet getRequest = new HttpGet(startUrl);
    
21.         getWebPagethreadPool.execute(new GetWebPageTask(zhClient,getRequest,storage,getWebPagethreadPool,parseWebPagethreadPool));
    
22.         et1 = new ThreadPoolMonitor(parseWebPagethreadPool,"解析网页线程池--");
    
23.         et2 = new ThreadPoolMonitor(getWebPagethreadPool,"获取网页线程池--");
    
24.         new Thread(et1).start();
    
25.         new Thread(et2).start();
    
26.         while(true){
    
27.             if(ParseWebPageTask.userCount >= crawlUserCount){
    
28.                 getWebPagethreadPool.shutdown();
    
29.                 if(getWebPagethreadPool.isTerminated()  && storage.getQueue().size() == 0){
    
30. parseWebPagethreadPool.shutdown();
    
31.                     et1.shutdown();
    
32.                     et2.shutdown();
    
33.                     break;
    
34.                 }
    
35.             }
    
36.             try {
    
37.                 Thread.sleep(1000);
    
38.             } catch (InterruptedException e) {
    
39.                 e.printStackTrace();
    
40.                 logger.error("InterruptedException",e);
    
41.             }
    
42.         }
    
43.     }
    
44. }

复制代码

1. 
   
2. public class GetWebPageTask implements Runnable{
   
3.         private static Logger logger = MyLogger.getMyLogger(GetWebPageTask.class);
   
4.         private HttpGet getMethod = null;
   
5.         public static int gwpCount = 0;
   
6.         Storage storage = null;
   
7.         ZhihuHttpClient zhClient = null;
   
8.         ThreadPoolExecutor gwpThreadPool = null;//获取网页线程池
   
9.         MyThreadPoolExecutor pwpThreadPool = null;//解析网页线程池
   
10.         public GetWebPageTask(){
    
11.         }
    
12.         public GetWebPageTask(ZhihuHttpClient zhClient, HttpGet getMethod, Storage storage,ThreadPoolExecutor gwpThreadPool,MyThreadPoolExecutor pwpThreadPool){
    
13.                 // TODO Auto-generated constructor stub
    
14.                 this.zhClient = zhClient;
    
15.                 this.getMethod = getMethod;
    
16.                 this.storage = storage;
    
17.                 this.gwpThreadPool = gwpThreadPool;
    
18.                 this.pwpThreadPool = pwpThreadPool;
    
19.         }
    
20.         public void run(){
    
21.                 CloseableHttpResponse response = null;
    
22.                 CloseableHttpClient hc = zhClient.getHttpClient();
    
23.                 try {
    
24. response = hc.execute(getMethod,zhClient.getContext());
    
25.                         int status = response.getStatusLine().getStatusCode();
    
26.                         logger.error("executing request " + getMethod.getURI() + "   status:" + status);
    
27.                         while(status == 429){
    
28. Thread.sleep(100);
    
29.                                 response = hc.execute(getMethod,zhClient.getContext());
    
30.                                 status = response.getStatusLine().getStatusCode();
    
31.                                 if(status != 429){
    
32.                                         break;
    
33.                                 }
    
34.                         }
    
35.                         if(status == HttpStatus.SC_OK){
    
36.                                 gwpCount++;
    
37.                                 String s = IOUtils.toString(response.getEntity().getContent());
    
38.                                 storage.push(s);//入队
    
39.                                 pwpThreadPool.execute(new ParseWebPageTask(zhClient,this.storage,gwpThreadPool,pwpThreadPool));
    
40.                         } else if(status == 502 || status == 504 || status == 500){
    
41.                                 return ;
    
42.                         }
    
43.                 } catch (ClientProtocolException e) {
    
44.                         e.printStackTrace();
    
45.                         logger.error("ClientProtocolException",e);
    
46.                 } catch (ConnectException e) {
    
47.                         e.printStackTrace();
    
48.                         logger.error("ConnectException",e);
    
49.                 } catch (IOException e) {
    
50.                         e.printStackTrace();
    
51.                         logger.error("IOException",e);
    
52.                 } catch (InterruptedException e) {
    
53.                         e.printStackTrace();
    
54.                         logger.error("InterruptedException",e);
    
55.                 } catch (NullPointerException e){
    
56.                         e.printStackTrace();
    
57.                         logger.error("NullPointerException",e);
    
58.                 }finally {
    
59. if(response.getEntity() != null){
    
60.                                 try {
    
61.                                         getMethod.releaseConnection();
    
62.                                         response.getEntity().getContent().close();
    
63.                                 } catch (UnsupportedOperationException e) {
    
64. e.printStackTrace();
    
65.                                         logger.error("UnsupportedOperationException",e);
    
66.                                 } catch (IOException e) {
    
67. e.printStackTrace();
    
68.                                         logger.error("IOException",e);
    
69.                                 }
    
70.                         }
    
71.                         if (response.getStatusLine().getStatusCode() != 200) {
    
72.                                 getMethod.abort();
    
73.                         }
    
74.                 }
    
75. 
    
76.         }
    
77. 
    
78. }

复制代码

解析网页线程，负责解析网页并将解析出的用户资料插入数据库

1. 
   
2. public class ParseWebPageTask implements Runnable{
   
3.         private static Logger logger = MyLogger.getMyLogger(MyThreadPoolExecutor.class);
   
4.         public static int pwpCount = 0;
   
5.         public static int userCount = 0;
   
6.         Storage storage = null;
   
7.         ZhihuHttpClient zhClient = null;
   
8.         ThreadPoolExecutor gwpThreadPool = null;
   
9.         MyThreadPoolExecutor pwpThreadPool = null;
   
10.         public ParseWebPageTask(){
    
11.         }
    
12.         public ParseWebPageTask(ZhihuHttpClient zhClient,Storage storage,ThreadPoolExecutor gwpThreadPool,MyThreadPoolExecutor pwpThreadPool){
    
13.                 this.storage = storage;
    
14.                 this.zhClient = zhClient;
    
15.                 this.gwpThreadPool = gwpThreadPool;
    
16.                 this.pwpThreadPool = pwpThreadPool;
    
17.         }
    
18.         @Override
    
19.         public void run() {
    
20.                 // TODO Auto-generated method stub
    
21.                 try {
    
22.                         pwpCount++;
    
23.                         User u = null;
    
24.                         String ym = storage.pop();
    
25.                         Document doc = Jsoup.parse(ym);
    
26.                         Connection cn = ConnectionManage.getConnection();
    
27.                         if(doc.select("title").size() != 0){
    
28. u = parseUserdetail(doc);
    
29.                                 if(ZhuhuDAO.insetToDB(cn,u)){
    
30. //                                        storage.getResult().getUserVector().add(u);
    
31.                                 }
    
32.                                 for(int i = 0;i < u.getFollowees()/20 + 1;i++){
    
33. String url = "https://www.zhihu.com/node/ProfileFolloweesListV2?params={%22offset%22:" + 20*i + ",%22order_by%22:%22created%22,%22hash_id%22:%22" + u.getHashId() +"%22}";
    
34.                                         url = url.replaceAll("[{]","%7B").replaceAll("[}]","%7D").replaceAll(" ","%20");
    
35.                                         if(gwpThreadPool.getQueue().size() <= 100){
    
36. dealHref(cn,url);
    
37.                                         }
    
38.                                 }
    
39.                         }else {
    
40. Elements es = doc.select(".zm-list-content-medium .zm-list-content-title a");
    
41.                                 for(Element temp:es){
    
42.                                         String userIndex = temp.attr("href") + "/followees";
    
43.                                         dealHref(cn,userIndex);
    
44.                                 }
    
45.                         }
    
46.                         if(!cn.isClosed()){
    
47.                                 cn.close();
    
48.                                 cn = null;
    
49.                         }
    
50.                 } catch (Exception e) {
    
51.                         // TODO Auto-generated catch block
    
52.                         e.printStackTrace();
    
53.                         logger.error("Exception",e);
    
54.                 }
    
55.         }
    
56. public void dealHref(Connection cn,String href) throws SQLException {
    
57.                 String md5Href = Md5Util.Convert2Md5(href);
    
58. //                if(storage.getResult().getHrefSet().add(href)){
    
59. //                        if(storage.getResult().getHrefSet().size() >= 10000){
    
60. //                                storage.getResult().getHrefSet().clear();
    
61. //                        }
    
62.                 if(ZhuhuDAO.insertHref(cn,md5Href) || gwpThreadPool.getQueue().size() <= 50){
    
63. if(pwpThreadPool.getQueue().size() <= 100){
    
64. HttpGet getRequest = null;
    
65.                                 try{
    
66.                                         getRequest = new HttpGet(href);
    
67. gwpThreadPool.execute(new GetWebPageTask(zhClient,getRequest,storage,gwpThreadPool,pwpThreadPool));
    
68.                                 } catch(IllegalArgumentException e){
    
69.                                         e.printStackTrace();
    
70.                                         logger.error("IllegalArgumentException",e);
    
71.                                 }
    
72.                         }
    
73.                 } else{
    
74. }
    
75.         }
    
76. public User parseUserdetail(Document doc){
    
77.                 User u = new User();
    
78.                 u.setLocation(getUserinfo(doc,"location"));
    
79.                 u.setBusiness(getUserinfo(doc,"business"));
    
80.                 u.setEmployment(getUserinfo(doc,"employment"));
    
81.                 u.setPosition(getUserinfo(doc,"position"));
    
82.                 u.setEducation(getUserinfo(doc,"education"));
    
83.                 try {
    
84.                         u.setUsername(doc.select(".title-section.ellipsis a").first().text());
    
85.                         u.setUrl("https://www.zhihu.com" + doc.select(".title-section.ellipsis a").first().attr("href"));
    
86.                 } catch (NullPointerException e){
    
87.                         logger.error("NullPointerException",e);
    
88.                         e.printStackTrace();
    
89.                 }
    
90.                 u.setAgrees(Integer.valueOf(doc.select(".zm-profile-header-user-agree strong").first().text()));
    
91.                 u.setThanks(Integer.valueOf(doc.select(".zm-profile-header-user-thanks strong").first().text()));
    
92.                 u.setFollowees(Integer.valueOf(doc.select(".zm-profile-side-following strong").first().text()));
    
93.                 u.setFollowers(Integer.valueOf(doc.select(".zm-profile-side-following strong").get(1).text()));
    
94.                 try {
    
95.                         u.setHashId(doc.select(".zm-profile-header-op-btns.clearfix button").first().attr("data-id"));
    
96.                 }catch (NullPointerException e){
    
97.                         e.printStackTrace();
    
98. u.setHashId("843df56056dc14b8dd36ace99be09337");
    
99.                 }
    
100.                 return u;
     
101.         }
     
102. public String getUserinfo(Document doc,String infoName){
     
103.                 Element e = doc.select(".zm-profile-header-user-describe ." + infoName + ".item").first();
     
104.                 if(e == null){
     
105.                         return "";
     
106.                 } else{
     
107.                         return e.attr("title");
     
108.                 }
     
109.         }
     
110. }

复制代码

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2