A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© 猫腻 高级黑马   /  2013-3-13 15:33  /  1833 人查看  /  1 人回复  /   0 人收藏 转载请遵从CC协议 禁止商业使用本文

    最近想申请个项目,知道老师说可以搞个微博信息抓取分析的软件(其实原来是c/s实时通讯软件的,可惜被否了。)
但是我从未涉水这个层面。

我有几个疑问:
1.微博内容是动态生成的,我应该通过什么方式抓取,api中貌似没有类似的功能

2.我应该怎样实现类似于爬虫一样的效果,因为我需要根据关键字搜索大量数据,不然没法分析

我使用的是java,还望大家能够解答我的疑惑,先谢过了。

评分

参与人数 1技术分 +1 收起 理由
陈丽莉 + 1 为了活跃气氛,辛苦了~

查看全部评分

1 个回复

倒序浏览
如果要实现爬虫,应该是涉及URL的范畴吧。
这也是找到的邮件爬虫的例子,搬运,仅供参考哈
  1. public static void paChongDemo(String keyWord)
  2. {
  3. URL url = new URL("网址");
  4. URLConnection conn = url.openConnection();//开启

  5. BufferedReader bufln = new BufferedReader(new InputStreamReader(conn.getInputStream));

  6. String line = null;

  7. Pattern P = Pattern.complie(keyWord);
  8. ………………//后面是一些输出功能
复制代码
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马