有这么一个功能。

批量去目标url爬取数据， 批量操作数据量很多。

做法是：
把这些批量任务单独保存到一个表里。然后多线程去处理这些数据，对于处理到的任务，爬取数据之后修改这个任务的状态。

这里有个疑问：
如果线程死了。 没有操作的批量任务怎么办。


我的想法是再开一个线程，一直在这里任务表里取数据。 如果取到有未完成的任务，那么继续执行这个任务。

不知道是否是这样子做的？


还有就是这个多线程该怎么处理要批量操作的数据？ 万一死锁了怎么办。
第一次做这个，没有什么经验。
谢谢大家。！

有这么一个功能。

批量去目标url爬取数据， 批量操作数据量很多。

做法是：
把这些批量任务单独保存到一个表里。然后多线程去处理这些数据，对于处理到的任务，爬取数据之后修改这个任务的状态。

这里有个疑问：
如果线程死了。 没有操作的批量任务怎么办。


我的想法是再开一个线程，一直在这里任务表里取数据。 如果取到有未完成的任务，那么继续执行这个任务。

不知道是否是这样子做的？


还有就是这个多线程该怎么处理要批量操作的数据？ 万一死锁了怎么办。
第一次做这个，没有什么经验。
谢谢大家。！