好得很程序员自学网

<tfoot draggable='sEl'></tfoot>

解决mybatis-plus 查询耗时慢的问题

mybatis-plus 查询耗时慢

1、现象

查出30000多条id

然后用

?

1

2

EntityWrapper ew = new EntityWrapper<>();

  ew.in(TableFieldConstant.F_AUTH_RESULT_ID, ids);

查询会很慢

2、原因

跟了一下mybatis-plus源码

?

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

protected String formatSqlIfNeed( boolean need, String sqlStr, Object... params) {

        if (need && !StringUtils.isEmpty(sqlStr)) {

            if (ArrayUtils.isNotEmpty(params)) {

                for ( int i = 0 ; i < params.length; ++i) {

                    String genParamName = "MPGENVAL" + this .paramNameSeq.incrementAndGet();

                    sqlStr = sqlStr.replace(String.format( "{%s}" , i), String.format( "#{%s.paramNameValuePairs.%s}" , this .getParamAlias(), genParamName));

                    this .paramNameValuePairs.put(genParamName, params[i]);

                }

            }

 

            return sqlStr;

        } else {

            return null ;

        }

    }

问题出现在

?

1

sqlStr = sqlStr.replace(String.format( "{%s}" , i), String.format( "#{%s.paramNameValuePairs.%s}" , this .getParamAlias(), genParamName));

对replace 测试 发现当数据量大时替换会很耗时 测试的遍历了30000次拼接从1到30000 替换耗时20多秒

对 apache-commons-lang 的StringUtis.replace测试是耗时7秒多

3、总结

把使用mybaits 批量查询改为 手写sql查询 之后问题解决

使用mybatis-plus批量操作时要谨慎 能写sql尽量写sql

这个跟mybatis-plus 的小伙伴提了问题后已经解决 可以升级jar版本 3.x

mybatis-plus 处理大数据量太慢

大批量数据插入方法是Mybatis的foreach拼接SQL

我发现不管改成Mybatis Batch提交或者原生JDBC Batch的方法都不起作用,实际上在插入的时候仍然是一条条记录的插,速度远不如原来Mybatis的foreach拼接SQL的方法。

?

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

// 第一步判断更新或添加

  String[] splitUserId = userGroup.getUserId().split( "," );

  String[] spiltUserName = userGroup.getUserName().split( "," );

  if (StringUtils.isBlank(userGroup.getId())) {

   userGroup.setNum(spiltUserName.length);

   userGroupMapper.insert(userGroup);

  } else {

   userGroup.setNum(spiltUserName.length);

   userGroupMapper.updateById(userGroup);

  }

  /* 第二部删除中间表信息,字段冗余 */

 

  Map<String, Object> columnMap = new HashMap<String, Object>();

  columnMap.put("USER_GROUP_ID", userGroup.getId());

  groupUsersService.removeByMap(columnMap);

 

  /* 第三步,批量保存中间表 */

 

  if (splitUserId.length != 0 ) {

   List<GroupUsers> groupUsersList = Lists.newArrayList();

   for ( int i = 0 ; i < splitUserId.length; i++) {

    GroupUsers gu = new GroupUsers();

    gu.setUserId(splitUserId[i]);

    gu.setUserName(spiltUserName[i]);

    gu.setUserGroupId(userGroup.getId());

    groupUsersList.add(gu);

   }

   groupUsersService.saveBatch(groupUsersList);

  }

1、就是这样的一种情景也很符合大部分的开发场景,可就是1000条数据的情况下用了8秒 ,这可能与计算机的性能有很大的关系,但就是如此也不至于用八秒钟,那么用户体验会很惨的。

2、JDBC连接URL字符串中需要新增一个参数:

rewriteBatchedStatements=true url: jdbc:mysql://192.168.1.143:3306/rt_xxxxxx_test?useUnicode=true&characterEncoding=utf-8&rewriteBatchedStatements=true

3、MySQL的JDBC连接的url中要加rewriteBatchedStatements参数,并保证5.1.13以上版本的驱动,才能实现高性能的批量插入。

4、MySQL JDBC驱动在默认情况下会无视executeBatch()语句,把我们期望批量执行的一组sql语句拆散,一条一条地发给MySQL数据库,批量插入实际上是单条插入,直接造成较低的性能。

只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL

另外这个选项对INSERT/UPDATE/DELETE都有效

以上为个人经验,希望能给大家一个参考,也希望大家多多支持。

原文链接:https://blog.csdn.net/cuixinzhou/article/details/113030993

查看更多关于解决mybatis-plus 查询耗时慢的问题的详细内容...

  阅读:33次