首页 > TAG信息列表 > spring-batch

java-如何选择应在Spring Batch Spring Rest API中运行的作业

我正在尝试实现2个Spring Batch作业,这些作业将在使用端点时运行.由于JobLauncher方法对于这两个方法都是相同的,您如何选择要执行的方法？ @Autowired private JobLauncher jobLauncher; @Autowired private Job job; @RequestMapping( value = "/expired", meth

java-有关事务管理的问题

我正在尝试通过Spring实现业务需求,并且在事务管理方面遇到一些问题. 简单来说,业务需求是 1)使用某些条件查询数据库(#1).2)将查询结果写入平面文件.3)将数据库(#1)中的记录更新为“已处理”.4)作为前三个步骤的结果,将记录插入另一个数据库(#2). 我需要这4个步骤才能过关.例如,如

java-使用Spring Batch从数据库表中部分提取

我有一个带有自动递增整数主键的大型数据库表,我每天都在使用Spring Batch创建该表的摘录,以供其他系统使用. 我正在使用保留前一个提取物中放入的最高ID的方法来设置下一个提取的起点(即在SQL中,其中ID> last_id_extracted).我目前正在使用JDBC对使用普通旧Java的next_id表进行此

Spring,Spring Batch,Hibernate和JUnit以及用于多个集成测试的初始化

我有一些利用Spring-Batch和Hibernate的测试类.我的测试上下文在内存数据库中建立h2,初始化了休眠会话工厂,该工厂创建了大多数db模式,还执行了一些特定的SQL脚本来设置spring batch(非orm)所需的数据库模式对象. Hibernate只做必要的事情就做得很好,但是spring-batch初始化脚本并

java-在运行时动态选择Spring-Batch阅读器

我有一个春季批处理工作,可以将各种银行对帐单转换为我的应用程序.每种银行对帐单类型都有一个不同的读取器,而所有这些都只有一个写入器.这项工作非常简单-读取,处理和写入： <batch:job id="importer" restartable="true"> <batch:step id="import"> <batch:tasklet>

java-Spring Batch：如何处理多行日志文件

我正在尝试使用Spring Batch将日志文件的内容导入数据库. 我当前正在使用FlatFileItemReader,但是不幸的是,有许多日志条目无法捕获.两个主要问题是： >包含多行JSON字符串的行： 2012-03-22 11:47:35,307 DEBUG main someMethod(SomeClass.java:56): Do Something(18,true,null,null

java-在JdbcCursorItemReader中将作业参数用作准备好的语句参数

我有一个作业必须使用不同的作业参数运行多次.我想设置一个JdbcCursorItemReader来执行作业查询,itemReader的配置如下： <bean id="tpsItemReader" class="org.springframework.batch.item.database.JdbcCursorItemReader"> <property name="dataSource" ref="

在Spring Batch上从文件中跳过页眉,正文和页脚行

我有这个专门的文件： H;COD;CREATION_DATE;TOT_POR;TYPE H;001;2013-10-30;20;R D;DETAIL_VALUE;PROP_VALUE D;003;3030 D;002;3031 D;005;3032 T;NUM_FOL;TOT T;1;503.45 如您所见,它具有页眉/正文/页脚行.我正在寻找跳过这些行的ItemReader.我已经在下面完成了使用ItemMatchingC

java-如何在Item Reader中以春季批处理的方式获取文件中的行数

我是Spring的新手.我有一个作业,可以在其中读取文件并写入数据库.如果文件中的记录数超过8000,则我不应该处理该文件,而应停止作业执行.请提出什么更好的方法来做到这一点.解决方法:您可以在itemreader上实现StepExecutionListener.然后,您可以获得与行号相对应的readcount. publ

java-Spring Batch Job的集成测试失败

好的,我知道从标题看这听起来很简单,但确实让我很困惑为什么会这样. 因此,我正在使用Spring Batch生成要使用Amazon的Simple Email Service发送的电子邮件.在我的CustomItemProcessor内部,我使用@Autowired正常连接我的AmazonEmailService服务. AmazonEmailService类实现了我的Emai

春季-如何轮询目录中的文件？

我需要能够使用SCP轮询目录中的特定文件,并且一旦文件被处理,它就需要继续轮询. Spring Batch有可能吗？解决方法:解决此问题的通常方法是使用Spring Integration.我要解决的方法是通过Spring Integration流,该流使用SFTP入站通道适配器检索文件,然后将传输的名称传递给Spring Batch

java-使用spring batch 3.0.0 jar时“字段列表”中的未知列“ JOB_CONFIGURATION_LOCATION”

以前我使用批处理spring-batch-core-2.2.0和spring-batch-infrastructure-2.2.0,但现在我想使用spring-batch-3.0.0,所以我更换了罐子并使用了spring-batch-core -3.0.0,spring-batch-infrastructure-3.0.0,spring-retry-1.0.2.RELEASE和javax.batch-api-1.0. 但是现在我得到了错误

java-Spring Integration Inbound-Channel-Adapter逐行读取大文件

我目前正在将Spring Integration 4.1.0与Spring 4.1.2结合使用. 我要求能够逐行读取文件并将读取的每一行都用作消息.基本上,我想允许我们的消息源之一“重播”,但是消息不是保存在单个文件中,而是保存在单个文件中.我对此用例没有交易要求.除了与JVM运行所在的服务器位于同一服务

java-无限循环中的ItemReader reader()

我用JdbcTemplate实现了ItemReader. 问题在于read()在无限循环中被调用. public class MyReader implements ItemReader<Col>, InitializingBean { private JdbcTemplate jdbcTemplate; private RowMapper<Col> rowMapper; private String sql; private DataSourc

使用分区步骤在Spring Batch中访问@JobScope bean

有没有一种方法可以在分区步骤中访问定义为@JobScope的bean？ 我们将http客户端bean定义为@JobScope,因为它对于每个作业都是唯一的,但是是动态创建的,因此在从属步骤中需要它来发出发布请求.当我们自动接线时,我们得到的 Error creating bean with name 'scopedTarget.captureErpSt

java-如何将Spring Security与Spring Batch集成在一起？

我想创建一个安全的Web应用程序,用户可以在其中启动Spring Batch作业.我想跟踪谁启动了哪个作业,因此必须将JobInstance(或JobExecution？)与用户相关联.我还想查询由特定用户启动的JobExecutions.这似乎并不常见,因为我无法在参考指南中找到解决方案. 我是否需要为Spring Batch的持

java-在Spring Batch分区中配置gridSize

在Spring Batch分区中,PartitionHandler的gridSize与Partitioner返回的ExecutionContext的数量之间的关系有些混乱.例如,MultiResourcePartitioner指出它忽略了gridSize,但是Partitioner文档没有说明何时/为什么可以这样做. 例如,假设我有一个taskExecutor,我想在不同的并行步骤中

如何在Spring Batch中传递超过250个字符的字符串作为作业参数？

在BATCH_JOB_EXECUTION_PARAMS表中,列“ STRING_VAL”定义为varchar(250).如果将任何大于250的字符串作为作业参数传递,则数据库将抱怨数据太长.我做了一些研究,有人做的是手动更改列的定义以保存更多数据.在表中存储大型参数有没有副作用？如果是这样,通过大型工作参数的最佳解决方

java-关于步骤之间的数据的Spring批处理最佳实践

我们有一个旧的代码库,我认为可以通过选择一个好的批处理框架来进行很多改进. 我已经开始尝试使用Spring批处理,并决定(在阅读了文档,多本书和有关它的论坛之后),感受它的最佳方法是实际使用它,因此我将一些现有的应用程序重新开发到了Spring.批量. 这是我重新开发的简单应用程序： >

java-Spring Batch-FlatFileReader中是否可能有动态列？

我正在处理许多没有固定标题/列的CSV文件,说我可以获得10列的file1.csv和50列的file2.csv. 我无法事先知道将要拥有的列数,无法为每种文件类型创建特定的作业,我的输入将是一个黑匣子：一堆CSV,其列数为X 10至无限. 因为我想使用Spring Batch自动导入这些CSV,所以我想知道是否可行？我

java-没有阅读器(仅写程序)的简单1步Spring Batch作业可能吗？

我想知道是否有可能编写一个春季批处理作业,而该步骤只具有一个编写器.我找不到任何有关Spring Batch文档中给定步骤固有必需内容的文档. 我希望做这样的事情： public class MyBatchConfiguration { @Bean public ItemWriter<myInfo> myWriter() { return new MyWriter(); }

java-Spring批处理上传CSV文件并相应地插入数据库

我的项目有此要求,即用户上传一个CSV文件,该文件必须被推送到mysql数据库.我知道我们可以使用Spring批处理来处理大量记录.但是我找不到适合我的这个要求的任何教程/示例代码.我遇到的所有教程都只是将CSV文件名硬编码如下,如下所示： https://spring.io/guides/gs/batch-processing/

使用Spring Batch从HDFS读取文件

我必须编写一个Spring批处理,它将从HDFS读取文件并更新MySQL DB中的数据. HDFS中的源文件包含一些CSV格式的报告数据. 有人可以指出我一个从HDFS读取文件的示例吗？ 谢谢.解决方法:Spring Batch中的FlatFileItemReader可与任何Spring Framework Resource实现一起使用： @Bean public F

java-Spring Batch如何以Reader读取多个表(查询)并将其作为平面文件写入

在我的项目中,我读取了多个具有不同查询的表,并将这些结果集合并到平面文件中.我该如何实现.我的意思是JdbcReader直接接受1选择查询,如何自定义它.解决方法:如果JdbcCursorItemReader不符合您的需求,则您始终可以通过实现ItemReader接口来自由实现自定义阅读器. public interface

Spring Batch-验证输入的csv文件中的标题行,如果文件无效则跳过该文件

我有一个简单的工作,如下所示： <batch:step id="step"> <batch:tasklet> <batch:chunk reader="itemReader" processor="itemProcessor" writer="itemWriter" commit- interval="5000" /> </batch:tasklet