推广 热搜: 行业  机械  设备    经纪  教师  参数  系统    蒸汽 

宝赢大数据查询_大数据量查询容易OOM?试试MySQL流式查询

   日期:2024-11-01     移动:http://mip.xhstdz.com/quote/76.html

程序访问 数据库时,当查询出来的数据量特别大时,数据库驱动把加载到的数据全部加载到内存里,就有可能会导致内存溢出(OOM)。

宝赢大数据查询_大数据量查询容易OOM?试试MySQL流式查询

其实在 数据库中提供了流式查询,允许把符合条件的数据分批一部分一部分地加载到内存中,可以有效避免OOM;本文主要介绍如何使用流式查询并对比普通查询进行性能测试。

使用JDBC的 的 方法设置为 或者使用方法 可以实现流式查询,在执行 方法时,会通过数据库连接一条一条的返回,这样也不会大量占用客户端的内存。

PS:上面的例子中通过参数 来切换 流式查询普通查询,用于下面做测试对比。

创建了一张测试表 进行测试,总数据量为 条,分别使用以下4个测试用例进行测试

  1. 大数据量普通查询(27w条)
  2. 大数据量流式查询(27w条)
  3. 小数据量普通查询(10条)
  4. 小数据量流式查询(10条)

3.1. 测试大数据量普通查询

3.1.1. 查询耗时

DEMO地址:https://github.com/zlt2000/mysql-stream-query

本文地址:http://sjzytwl.xhstdz.com/quote/76.html    物流园资讯网 http://sjzytwl.xhstdz.com/ , 查看更多

特别提示:本信息由相关企业自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


0相关评论
相关行业动态
推荐行业动态
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号