点击这里给我发消息 点击这里给我发消息
首页 > 行业资讯 > Oracle>详细内容

Oracle大量数据插入之性能优化理解

添加时间:2010-1-5
    相关阅读: 软件 数据库 程序 SQL Oracle 链接 优化

在学习Oracle中,我们使用SQL和ODBC链接进行数据插入,单独插入少量数据时,没有问题。但是在插入大量数据时,就会出现异常,内存溢出错误。

  如何解决在进行大量数据插入时,java程序能够有效快速的进行数据处理。这就是数据库中性能优化的问题。

  为什么要进行性能优化。

  首先,在大量数据处理中 一般常规的方式会造成程序处理效率和时间低下。达不到产品上线要求。

  其次,没有性能优化在产品维护时也会出现很多错误,带来麻烦。

  如何进行性能优化。

  一般软件都会进行大量数据测试,对性能做个整体评估,然后找出最好的方法来编写需要的代码。

  同时再次进行测试达到最佳的性能点。

  对于Oracle大量数据插入的性能优化我们采用如下方法进行

  先采用常规方式编写代码,如在放入数据时就直接使用list接口方法进行。

  插入数据中不进行批处理使用。

  发现,在插入10万数据中 内存溢出,而且数据库使用时间非常长。

  于是,我们先采用数据库批处理命令 采用每1000条数据再进行一次提交

  使用addBAEACH 方法,和excutbeach 方法来处理

  代码为

  ps.addBatch();

  if(i!=0&&i%10000==0) {

  ps.executeBatch();

  con.commit();

  ps.clearBatch();

  }

  同时也使用预编译语句进行插入。

  但是在仍然不能解决虚拟机内存溢出问题

  于是我们使用

  String[] fileList = new File(uploadDir).list();

  ArrayList<String[]> array = new ArrayList<String[]>();

  array.clear();

  来解决读取文件后如何放入数据库中再使用SQL语句进行插入。

  经过反复测试。最后找到最优点。在插入100万数据情况下 每次1万条数据提交。性能最优

本文作者:未知
咨询热线:020-85648757 85648755 85648616 0755-27912581 客服:020-85648756 0755-27912581 业务传真:020-32579052
广州市网景网络科技有限公司 Copyright◎2003-2008 Veelink.com. All Rights Reserved.
广州商务地址:广东省广州市黄埔大道中203号(海景园区)海景花园C栋501室
= 深圳商务地址:深圳市宝源路华丰宝源大厦606
研发中心:广东广州市天河软件园海景园区 粤ICP备05103322号 工商注册