A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© 邵新瑜 中级黑马   /  2012-12-5 18:49  /  1147 人查看  /  0 人回复  /   0 人收藏 转载请遵从CC协议 禁止商业使用本文

有这么一个功能。

批量去目标url爬取数据, 批量操作数据量很多。

做法是:
把这些批量任务单独保存到一个表里。然后多线程去处理这些数据,对于处理到的任务,爬取数据之后修改这个任务的状态。

这里有个疑问:
如果线程死了。 没有操作的批量任务怎么办。


我的想法是再开一个线程,一直在这里任务表里取数据。 如果取到有未完成的任务,那么继续执行这个任务。

不知道是否是这样子做的?


还有就是这个多线程该怎么处理要批量操作的数据? 万一死锁了怎么办。
第一次做这个,没有什么经验。
谢谢大家。!

评分

参与人数 1技术分 +1 收起 理由
古银平 + 1 神马都是浮云

查看全部评分

0 个回复

您需要登录后才可以回帖 登录 | 加入黑马