likes
comments
collection
share

springbatch 加 H2(内存数据库) 加 mybatis 多数据源读写

作者站长头像
站长
· 阅读数 64

1,什么是springbatch

Spring Batch 是一个轻量级的、完善的批处理框架,旨在帮助企业建立健壮、高效的批处理应用。Spring Batch是Spring的一个子项目,使用Java语言并基于Spring框架为基础开发,使得已经使用 Spring 框架的开发者或者企业更容易访问和利用企业服务。 Spring Batch 提供了大量可重用的组件,包括了日志、追踪、事务、任务作业统计、任务重启、跳过、重复、资源管理。对于大数据量和高性能的批处理任务,Spring Batch 同样提供了高级功能和特性来支持,比如分区功能、远程功能。总之,通过 Spring Batch 能够支持简单的、复杂的和大数据量的批处理作业。 Spring Batch 是一个批处理应用框架,不是调度框架,但需要和调度框架合作来构建完成的批处理任务。它只关注批处理任务相关的问题,如事务、并发、监控、执行等,并不提供相应的调度功能。如果需要使用调度框架,在商业软件和开源软件中已经有很多优秀的企业级调度框架(如 Quartz、Tivoli、Control-M、Cron 等)可以使用。

2, 什么是内存数据库h2

H2 数据库是一个用 Java 开发的嵌入式(内存级别)数据库，它本身只是一个类库，也就是只有一个 jar 文件，可以直接嵌入到项目中。 H2数据库又被称为内存数据库，因为它支持在内存中创建数据库和表。所以如果我们使用H2数据库的内存模式，那么我们创建的数据库和表都只是保存在内存中，一旦服务器重启，那么内存中的数据库和表就不存在了。

3.为啥要Springbatch 整合内存H2数据库

那是因为springbatch 在创建初始化的时候回自动加载生成一些自己的表。这些表会记录job step 的运行状态和参数等等。 并且这些库在实际的生产中，并没有什么太大的用处。只是偶尔的上去看一下。并且有一些公司对这个管理比较严格，生产库禁止自动创建一些表什么的。 所以这里就用内存数据库来替代了。

4，准备工作

4.1 架构设计

h2 做内存数据库， mysql做读数据库，写数据库。 这里可能要自定义多数据源了。 读和写分别在同一个step 中。

4.2 配置文件

#h2 内存数据库
#是否开启控制台访问
spring.h2.console.enabled=true
#控制台访问路径
spring.h2.console.path=/h2


# 主数据源h2, 用于springbatch
spring.datasource.multi.primary.username=sa
spring.datasource.multi.primary.password=123456
spring.datasource.multi.primary.url=jdbc:h2:./data/test;AUTO_SERVER=TRUE
spring.datasource.multi.primary.driverClassName=org.h2.Driver

#读数据源，用于读取数据源
spring.datasource.multi.read.username=root
spring.datasource.multi.read.password=123456
spring.datasource.multi.read.url=jdbc:mysql://xxxxx:3306/read?serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8&useSSL=false
spring.datasource.multi.read.driverClassName=com.mysql.cj.jdbc.Driver

#写数数据源，用于写入数据源
spring.datasource.multi.write.username=root
spring.datasource.multi.write.password=123456
spring.datasource.multi.write.url=jdbc:mysql://xxxx:3306/write?serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8&useSSL=false
spring.datasource.multi.write.driverClassName=com.mysql.cj.jdbc.Driver

#配置日志打印
logging.level.com.ducheng.mapper=debug

# springbatch 的配置
spring.batch.job.enabled=false
spring.batch.jdbc.initialize-schema=always

4.3 数据源配置

springbatch 加 H2(内存数据库) 加 mybatis 多数据源读写 

package com.ducheng.config;

import com.baomidou.mybatisplus.extension.spring.MybatisSqlSessionFactoryBean;
import com.zaxxer.hikari.HikariDataSource;
import lombok.Data;
import org.apache.ibatis.session.SqlSessionFactory;
import org.mybatis.spring.annotation.MapperScan;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.io.support.PathMatchingResourcePatternResolver;
import org.springframework.jdbc.datasource.DataSourceTransactionManager;

import javax.sql.DataSource;

@ConfigurationProperties(prefix = "spring.datasource.multi.read")
@Configuration
@Data
// 只是是制定哪一个包下面的mapper 使用哪一个sqlsessionFactory.
@MapperScan(basePackages = "com.ducheng.mapper.read", sqlSessionFactoryRef = "readSqlSessionFactory")
public class ReadDataSourceConfig {
    
    private String  username;

    private String  password;

    private String  url;

    private String  driverClassName;


    @Bean("readDataSource")
    public HikariDataSource readDataSource(){
        HikariDataSource dataSource = new HikariDataSource();
        dataSource.setUsername(username);
        dataSource.setPassword(password);
        dataSource.setDriverClassName(driverClassName);
        dataSource.setJdbcUrl(url);
        return dataSource;
    }

    @Bean("readSqlSessionFactory")
    public SqlSessionFactory sqlSessionFactory() throws Exception {
        MybatisSqlSessionFactoryBean sqlSessionFactoryBean = new MybatisSqlSessionFactoryBean();
        sqlSessionFactoryBean.setDataSource(readDataSource());
        // 这个是指定加载的xml 文件路径。
        sqlSessionFactoryBean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath:mappers/read/*Mapper.xml"));
        return sqlSessionFactoryBean.getObject();
    }


    @Bean("readTransactionManager")
    public DataSourceTransactionManager transactionManager(){
        DataSourceTransactionManager transactionManager = new DataSourceTransactionManager(readDataSource());
        return transactionManager;
    }
}

其他的都类似 就是h2 数据源bean 多了一个@Primary 的注解

4.4 写业务代码

4.4.1 配置job

@Configuration
public class JobConfig {

    @Autowired
    private JobBuilderFactory jobBuilderFactory;

    @Autowired
    @Qualifier("ReadWriteStep")
    public Step step;

    @Bean("ReadWriteJob")
    public Job buildJob(){
      return   jobBuilderFactory.get("ReadWriteJob")
                .start(step)
                .build();
    }
}

4.4.2 配置step

@Configuration
public class StepConfig {

    @Autowired
    private StepBuilderFactory stepBuilderFactory;

    @Autowired
    @Qualifier("readSqlSessionFactory")
    private SqlSessionFactory readSqlSessionFactory;

    @Autowired
    @Qualifier("writeSqlSessionFactory")
    private SqlSessionFactory writeSqlSessionFactory;

   // 配置读数据源使用的sqlsession 和mapper 查询全路径
    @Bean
    MyBatisCursorItemReader<ReadEntity> reader(){
        MyBatisCursorItemReader reader = new MyBatisCursorItemReader();
        reader.setSqlSessionFactory(readSqlSessionFactory);
        reader.setQueryId("com.ducheng.mapper.read.ReadMapper.selectAll");
        return reader;
    }

 // 配置读数据源使用的sqlsession 和mapper 插入全路径
    @Bean
    MyBatisBatchItemWriter<WriteEntity> writer() {
        MyBatisBatchItemWriter writer = new MyBatisBatchItemWriter();
        writer.setSqlSessionFactory(writeSqlSessionFactory);
        writer.setStatementId("com.ducheng.mapper.write.WriteMapper.InsertSave");
        return writer;
    }


    @Bean("ReadWriteStep")
    Step buildStep(){
        return  stepBuilderFactory.get("ReadWriteStep")
                .<ReadEntity,WriteEntity>chunk(2000)
                .reader(reader())
                // 配置两个实体的转换
                .processor(new ItemProcessor<ReadEntity, WriteEntity>() {
                    @Override
                    public WriteEntity process(ReadEntity readEntity) throws Exception {
                        WriteEntity writeEntity = new WriteEntity();
                        BeanUtils.copyProperties(readEntity,writeEntity);
                        return writeEntity;
                    }
                })
                .writer(writer())
                .build();
    }
}

5，编写测试代码


@Autowired
private JobLauncher jobLauncher;

@Autowired
private Job job;

@GetMapping("/index")
public String index() {
   // job 运行参数，防止出现job 已经存在的异常
   JobParametersBuilder  jobParametersBuilder = new JobParametersBuilder();
   jobParametersBuilder.addLong("date",System.currentTimeMillis());
   try {
      jobLauncher.run(job,jobParametersBuilder.toJobParameters());
   }catch (Exception e){
      e.printStackTrace();
   }
   return "ok";
}

springbatch 加 H2(内存数据库) 加 mybatis 多数据源读写

别忘记在启动类加上 @EnableBatchProcessing

这个job 的功能就是把read 库 read_table 表的数据同步到 write 库 write_table 表中。

启动运行一下，要是启动能看见

springbatch 加 H2(内存数据库) 加 mybatis 多数据源读写 三个mybatisplus 的logo 说明我们配置的多数据源生效了。 我们在访问localhost:8080/h2 就出现h2 的连接界面配置账号密码我们就能看到

springbatch 加 H2(内存数据库) 加 mybatis 多数据源读写

最后我们在调用一下接口。就看见数据入库了。

springbatch 加 H2(内存数据库) 加 mybatis 多数据源读写

springbatch 加 H2(内存数据库) 加 mybatis 多数据源读写 再到h2 的控制台查询一下

springbatch 加 H2(内存数据库) 加 mybatis 多数据源读写 看到最终的状态就是成功的，耗时就是0.9 秒左右。 和控制台打印的897 毫秒一样。

转载自:https://juejin.cn/post/7155027841917616135
评论
请登录