java – JDBC多线程插入是否可行？
作者：互联网
我正在研究一个Java项目,我需要准备一个大的(对我来说)mysql数据库.我必须使用Jsoup进行网页抓取并将结果存储到我的数据库中.据我估计,我将插入大约1,500,000到2,000,000条记录.在我的第一次试验中,我只是使用一个循环来插入这些记录,我需要一周的时间来插入大约1/3的所需记录,我认为这太慢了.是否有可能使这个过程成为多线程的,这样我就可以将我的记录分成3组,比如每组500,000条记录,然后将它们插入一个数据库(具体是一个表)？
解决方法:
多线程不会对你有所帮助.您只需将争用瓶颈从应用服务器移至数据库即可.
相反,尝试使用批量插入,它们通常会使这种事情的速度提高几个数量级.见“3.4 Making Batch Updates” in the JDBC tutorial.
编辑：正如@Jon评论的那样,您需要将网页的提取与插入到数据库中的方式分离,否则整个过程将以最慢的操作速度进行.您可以有多个线程获取网页,这会将数据添加到队列数据结构中,然后让一个线程使用批量插入将队列排入数据库.
标签：java,multithreading,jdbc,insert-update 来源： https://codeday.me/bug/20190613/1233952.html