Oracle大量数据插入之性能优化理解

在学习Oracle中，我们使用SQL和ODBC链接进行数据插入，单独插入少量数据时，没有问题。但是在插入大量数据时，就会出现异常，内存溢出错误。

　　如何解决在进行大量数据插入时，java程序能够有效快速的进行数据处理。这就是数据库中性能优化的问题。

　　为什么要进行性能优化。

　　首先，在大量数据处理中 一般常规的方式会造成程序处理效率和时间低下。达不到产品上线要求。

　　其次，没有性能优化在产品维护时也会出现很多错误，带来麻烦。

　　如何进行性能优化。

　　一般软件都会进行大量数据测试，对性能做个整体评估，然后找出最好的方法来编写需要的代码。

　　同时再次进行测试达到最佳的性能点。

　　对于Oracle大量数据插入的性能优化我们采用如下方法进行

　　先采用常规方式编写代码，如在放入数据时就直接使用list接口方法进行。

　　插入数据中不进行批处理使用。

　　发现，在插入10万数据中 内存溢出，而且数据库使用时间非常长。

　　于是，我们先采用数据库批处理命令 采用每1000条数据再进行一次提交

　　使用addBAEACH 方法，和excutbeach 方法来处理

　　代码为

　　ps.addBatch();

　　if(i!=0&&i%10000==0) {

　　ps.executeBatch();

　　con.commit();

　　ps.clearBatch();

　　}

　　同时也使用预编译语句进行插入。

　　但是在仍然不能解决虚拟机内存溢出问题

　　于是我们使用

　　String[] fileList = new File(uploadDir).list();

　　ArrayList<String[]> array = new ArrayList<String[]>();

　　array.clear();

　　来解决读取文件后如何放入数据库中再使用SQL语句进行插入。

　　经过反复测试。最后找到最优点。在插入100万数据情况下 每次1万条数据提交。性能最优