首页 > TAG信息列表 > batch-processing

java-存在哪些方式来分发异步批处理任务？

我目前正在研究存在哪些Java兼容解决方案来满足我的要求,如下所示： >基于计时器/可调度的任务以进行批处理 >分布式,从而提供了水平缩放的能力>弹性,请不要使用SPF 这些任务的性质(大量XML生成以及向基于Web的接收节点的传递)意味着使用Quartz之类的东西在单个服务器上运行它们是不

在Spring Batch上从文件中跳过页眉,正文和页脚行

我有这个专门的文件： H;COD;CREATION_DATE;TOT_POR;TYPE H;001;2013-10-30;20;R D;DETAIL_VALUE;PROP_VALUE D;003;3030 D;002;3031 D;005;3032 T;NUM_FOL;TOT T;1;503.45 如您所见,它具有页眉/正文/页脚行.我正在寻找跳过这些行的ItemReader.我已经在下面完成了使用ItemMatchingC

我如何检测dynamodb2中的未写项目？

我正在将代码从dynamodb迁移到dynamodb2.该代码执行批处理写入,而我遇到的主要问题之一是检测未处理的消息.我的代码不断从队列中提取消息,然后将它们批量插入DynamoDB表中.似乎有很多项目(约20％)从未进入表中,而我却没有收到任何错误消息.因此,我的问题是,如何在未插入项目的情况下

java-有没有办法在Intellij-IDEA中自动进行重复的重构操作？

为了在我正在研究的项目中实现功能,我不得不抛出一个方法的检查异常,该方法被整个项目中数十个其他类中的数百种其他方法级联使用.因此,我必须进行一些繁重的重构,Intellij可以帮助我处理像这样的弹出窗口： 现在,尽管此intellij功能非常有用,但必须经历整个代码库仍然(对我而言)花费

c#-使用Mailgun批量发送和单个消息ID

我正在使用Mailgun将付款提醒发送给客户列表. 我最初的解决方案是使用他们的REST API向一组收件人发送电子邮件(batch sending.). public static bool SendBatch(string From, Dictionary<string, Object> vars, string txtEmail, string htmlEmail) { RestClient client = ne

neo4j和mysql数据存储之间的维护维护一致性

我有一个mysql数据库作为主数据的基本数据存储.对于类似于“朋友之友”的复杂多级查询,请输入“我有一个图形数据存储neo4j”.我面临的问题是在维护事务时,我必须在mysql中插入用户记录,并在neo4j中插入用户节点.现在我希望他们两个都能成功.我所完成的是如果neo4j插入成功,那么我

php-需要批量发送通知1000

我已经创建了通知应用程序,现在我想向1000个用户批次发送通知,但是由于我是新用户,所以我不知道如何创建该批次. 这是我要推送通知的代码. <?php include('header.php'); define( 'API_ACCESS_KEY', '[API-KEY comes here]' ); $sql="SELECT * FROM user_data"; $result = mysql

作业存储库和Spring Batch编写者的单独数据源

作业很简单CSVtoDBFileWriter： >从oracle1读取CSV文件名和位置 >读取CSV文件(批处理读取器)>在表(oracle2)中写入(批处理写入器) 我有2个数据源： > Oracle1 : available when application context loads and : I read properties from Oracle1's tables to create orac

集群环境上的Spring Batch-Websphere

我确实设置了一个春季批处理作业,它在单个JVM上运行良好.但是我需要将其部署到群集环境中.我正在使用Spring Task Scheduler来安排工作.有什么办法可以在集群环境中做到这一点,如果一个节点发生故障,另一节点应该接起它. Webspehere是要部署的服务器.解决方法:SpringBatch不支持任

批处理文件> Javascript> WinSCP>检查文件是否存在

我有一个批处理文件,它将启动一个.js文件,该文件通过WinSCP检查文件是否存在,如果不存在,则返回到该批处理文件. 问题是：总是返回找不到,而且我不知道为什么.我不确定在这种情况下如何使用通配符. 批处理文件如下所示： cscript /nologo file.js if errorlevel 1 goto notfound exit

如何将MySQL结果以表格格式存储到文件中

我正在尝试创建一个文件并在其中存储我的查询结果.我有一个包含单个查询的批处理文件, USE database1; SELECT * FROM table WHERE name = "abc" INTO OUTFILE output.txt; QUIT 使用执行此批处理文件, mysql -u root -p -t -vvv < select.sql 但是,结果不是表格格式,并且顶

python – 训练破坏了ResourceExausted错误

我是tensorflow和机器学习的新手.最近我正在研究一个模型.我的模型如下, >字符级嵌入向量 – >嵌入查找 – > LSTM1 >字级嵌入矢量 – >嵌入查找 – > LSTM2> [LSTM1 LSTM2] – >单层MLP-> softmax层> [LSTM1 LSTM2] – >单层MLP-> WGAN鉴别器>他的模型代码 当我正在研究这个模型

如何用linux命令行下载批量数据？

例如,我想从以下位置下载数据： http://nimbus.cos.uidaho.edu/DATA/OBS/ 与链接： http://nimbus.cos.uidaho.edu/DATA/OBS/pr_1979.nc 至 http://nimbus.cos.uidaho.edu/DATA/OBS/pr_2015.nc 如何编写脚本来下载所有这些脚本？与wget？以及如何循环从1979年到2015年的链接？解决方法:可能类

如何使用PHP批量调整图像大小

我正在维护一个旧网站.现在我的客户想要添加超过6000种产品.产品图像具有不同的尺寸.我必须申请批处理.我必须将它们全部调整为拇指大小230×230.有没有办法从PHP？如果是这样的话？ 我必须阅读主图像文件夹中不同文件夹中的所有内容.此图像文件夹有40个子文件夹.每个文件夹名称都是类

linux – 使用BASH中的特殊字符从文件名中删除子字符串

我的目录中有一个文件列表： opencv_calib3d.so2410.so opencv_contrib.so2410.so opencv_core.so2410.so opencv_features2d.so2410.so opencv_flann.so2410.so opencv_highgui.so2410.so opencv_imgproc.so2410.so opencv_legacy.so2410.so opencv_ml.so2410.so opencv_objdetect.

java – 两种JDBC查询批处理方法中的哪一种更快？

我试图在具有数百万条记录的表上使用rownum在多个批次中运行更新语句. 第一种方法是将所有查询一起批处理,然后运行executeBatch()方法,如下所示, for (i = num; i < limit; i += num) { String query = "update Table set someColumn ='T' where rownum<=" + i; prepared

java – Spring hibernate jdbc批量大小

我有几个场景,我认为从hibernate documenation有点不清楚. 数据类： class HibernateDao { // ... @Transactional public void store(List<Object> batch) { for(Object o : batch) { hibernate.store(o); } } } 场景1

linux – Grep for String并在相应的行打开

我在使用grep获得的几行中的几个文件中出现了几次特定字符串. $grep -rn --include="*.cpp" mystring lib/mlib/actionbuttonrule.cpp:300: mystring Foobar... lib/mlib/actionbuttonrule.cpp:314: other mystring lib/mlib/item.cpp:3025: /* mystring**/ lib/mli

java – Log4j：每个请求一个日志文件

我们有一个weblogic批处理应用程序,它同时处理来自消费者的多个请求.我们使用log4j来记录目的.现在我们为多个请求登录一个日志文件.调试给定请求的问题与日志在单个文件中的所有请求一样繁琐. 所以计划是每个请求有一个日志文件.消费者发送必须执行处理的请求ID.现在,实际上可能有

java – 如何加速oracle正常语句批量操作？

我正在开发工具以持续将更改从MongoDb导出到Oracle数据库. 我有执行批处理操作(Oracle)的问题. static void save(List result) { withBatchConnection { Statement stm -> result.each { String line -> stm.addBatch(line) } } } stat

Javascript：axios：批处理请求

如何使用axios进行批处理请求： 我有以下批量请求 POST /batch HTTP/1.1 Content-Type: multipart/mixed; boundary=====1340674896=== --====1340674896=== GET /contacts/479038 HTTP/1.1 Content-Type: application/json --====1340674896=== GET /contacts/299430 HTTP/1.1

如何获得itemProcessor中的行数和文件名 – spring batch

我正在使用spring批处理来解析我的文件.在ItemProcessor中,我验证传入字段是否正确.如果不是,我想抛出ValidationException并将相应的行记录到文件中,该行具有不正确的字段.那么,如何在ItemProcessor中找到行数和文件名？解决方法:没有看到你的ItemReader配置我真的不能确定,但​​如

java – Spring Batch – 异常不可跳过

这是我的代码： <chunk reader="READER" writer="WRITER" commit-interval="1000" skip-limit="1000"> <skippable-exception-classes> <include class="java.lang.Exception"/> </ski

java – 我可以在Spring Boot应用程序中运行长任务吗？

我有一个Spring Boot应用程序,它在AngularJS页面上显示来自MongoDB的一些数据,并允许用户更改它. 现在我需要创建一个允许我的机制 >运行一个长(1-3小时)的Java方法, >产生一些文件和>通过网络观察其状态(是否运行,是否完成,是否崩溃？). 我可以在Spring Boot应用程序的范围内实现它

Spring BatchSqlUpdate vs NamedParameterJdbcTemplate使用命名参数

我已成功使用BatchSqlUpdate类一段时间了.使用它的唯一烦恼是在使用declareParameter或setParameter方法运行任何查询之前需要注册命名参数.这意味着还必须声明参数的类型.但是,Spring还提供了一个NamedParameterJdbcTemplate类,它有一个非常方便的batchUpdate方法,它将命名参数作