黑马程序员技术交流社区
标题:
批量处理问题
[打印本页]
作者:
邵新瑜
时间:
2012-12-5 18:49
标题:
批量处理问题
有这么一个功能。
批量去目标url爬取数据， 批量操作数据量很多。
做法是：
把这些批量任务单独保存到一个表里。然后多线程去处理这些数据，对于处理到的任务，爬取数据之后修改这个任务的状态。
这里有个疑问：
如果线程死了。 没有操作的批量任务怎么办。
我的想法是再开一个线程，一直在这里任务表里取数据。 如果取到有未完成的任务，那么继续执行这个任务。
不知道是否是这样子做的？
还有就是这个多线程该怎么处理要批量操作的数据？ 万一死锁了怎么办。
第一次做这个，没有什么经验。
谢谢大家。！
欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)
黑马程序员IT技术论坛 X3.2