黑马程序员技术交流社区

标题: 如何使用java抓取微博信息？ [打印本页]
作者: 猫腻    时间: 2013-3-13 15:33
标题: 如何使用java抓取微博信息？
    最近想申请个项目，知道老师说可以搞个微博信息抓取分析的软件（其实原来是c/s实时通讯软件的，可惜被否了。）
但是我从未涉水这个层面。

我有几个疑问：
1.微博内容是动态生成的，我应该通过什么方式抓取，api中貌似没有类似的功能

2.我应该怎样实现类似于爬虫一样的效果，因为我需要根据关键字搜索大量数据，不然没法分析

我使用的是java，还望大家能够解答我的疑惑，先谢过了。

作者: 陈腾跃_2013    时间: 2013-3-13 20:54
如果要实现爬虫，应该是涉及URL的范畴吧。
这也是找到的邮件爬虫的例子，搬运，仅供参考哈
  1. public static void paChongDemo(String keyWord)
  2. {
  3. URL url = new URL("网址");
  4. URLConnection conn = url.openConnection();//开启

  6. BufferedReader bufln = new BufferedReader(new InputStreamReader(conn.getInputStream));

  8. String line = null;

  10. Pattern P = Pattern.complie(keyWord);
  11. ………………//后面是一些输出功能
复制代码




欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2