- 浏览: 144407 次
- 性别:
- 来自: 广州
最新评论
-
tianmo2008:
最近在使用,遇到点问题,希望能请教一下.
请问一下,你出现过I ...
RCP中实现带有run in background按钮的进度条对话框 -
zhangzcz1999:
lin36 写道楼主的程序有问题,测试的时间包含有调用&quo ...
java写文件方法之比较 -
hnbcjzj:
FileOutputStream 用于写入诸如图像数据之类的原 ...
java写文件方法之比较 -
zhangzcz1999:
xueshuanglong 写道网上现在的资料尽是一些旧版的, ...
LifeRay安装配置开发环境全过程(一) -
xueshuanglong:
网上现在的资料尽是一些旧版的,没有最新的。
LifeRay安装配置开发环境全过程(一)
(转)最近对以前开发的一个通用数据迁移的软件进行优化。除了用JDK5.0的多线程技术进行的改进之外,也比较了一下java写文件的性能。
在 java写文件中,通常会使用FileOutputStream和FileWriter,FileWriter只能写文本文件。 FileOutputStream也经常结合BufferedOutputStream。因为实际应用中写文本文件的情况占了大多数。所以下面测试用不同 的方式生成一个相同行数、大小相同的文件的三种不同方式。
以下结果经过多次执行,取常出现的数据,由于只是简单比较,不做详细统计。
由 以上数据可以看到,如果不用缓冲流BufferedOutputStream,FileOutputStream写文件的鲁棒性是很不好的。当写 1000000行的文件的时候,FileOutputStream比FileWriter要慢11094毫秒(11 秒),BufferedOutputStream比FileWriter慢515毫秒。
不要小看这几秒的时间。当操作的数据量很大的时候,这点性能的差距就会很大了。在通用数据迁移工具导出数据库2千万条记录生成sql脚本文件的时候,性能性能相差10分钟以上。
呵呵,谢谢两位啊~
我也只是转过来的呢,没有做过测试~~
在 java写文件中,通常会使用FileOutputStream和FileWriter,FileWriter只能写文本文件。 FileOutputStream也经常结合BufferedOutputStream。因为实际应用中写文本文件的情况占了大多数。所以下面测试用不同 的方式生成一个相同行数、大小相同的文件的三种不同方式。
import java.io.File; import java.io.FileOutputStream; import java.io.*; public class FileTest { public FileTest() { } public static void main(String[] args) { FileOutputStream out = null; FileOutputStream outSTr = null; BufferedOutputStream Buff=null; FileWriter fw = null; int count=1000;//写文件行数 try { out = new FileOutputStream(new File("C:/add.txt")); long begin = System.currentTimeMillis(); for (int i = 0; i < count; i++) { out.write("测试java 文件操作\r\n".getBytes()); } out.close(); long end = System.currentTimeMillis(); System.out.println("FileOutputStream执行耗时:" + (end - begin) + " 豪秒"); outSTr = new FileOutputStream(new File("C:/add0.txt")); Buff=new BufferedOutputStream(outSTr); long begin0 = System.currentTimeMillis(); for (int i = 0; i < count; i++) { Buff.write("测试java 文件操作\r\n".getBytes()); } Buff.flush(); Buff.close(); long end0 = System.currentTimeMillis(); System.out.println("BufferedOutputStream执行耗时:" + (end0 - begin0) + " 豪秒"); fw = new FileWriter("C:/add2.txt"); long begin3 = System.currentTimeMillis(); for (int i = 0; i < count; i++) { fw.write("测试java 文件操作\r\n"); } fw.close(); long end3 = System.currentTimeMillis(); System.out.println("FileWriter执行耗时:" + (end3 - begin3) + " 豪秒"); } catch (Exception e) { e.printStackTrace(); } finally { try { fw.close(); Buff.close(); outSTr.close(); out.close(); } catch (Exception e) { e.printStackTrace(); } } } }
以下结果经过多次执行,取常出现的数据,由于只是简单比较,不做详细统计。
1.当count=1000的,即写文件1000行的时候,写出的文件大小为18.5KB: FileOutputStream执行耗时:46 豪秒 BufferedOutputStream执行耗时:31 豪秒 FileWriter执行耗时:15 豪秒 2.当count=10000的,即写文件10000行的时候,写出的文件大小为185KB: FileOutputStream执行耗时:188 豪秒 BufferedOutputStream执行耗时:32 豪秒 FileWriter执行耗时:16 豪秒 3.当count=100000的,即写文件100000行的时候,写出的文件大小为1856KB: FileOutputStream执行耗时:1266 豪秒 BufferedOutputStream执行耗时:125 豪秒 FileWriter执行耗时:93 豪秒 4.当count=1000000的,即写文件1000000行的时候,写出的文件大小为18555KB: FileOutputStream执行耗时:12063 豪秒 BufferedOutputStream执行耗时:1484 豪秒 FileWriter执行耗时:969 豪秒
由 以上数据可以看到,如果不用缓冲流BufferedOutputStream,FileOutputStream写文件的鲁棒性是很不好的。当写 1000000行的文件的时候,FileOutputStream比FileWriter要慢11094毫秒(11 秒),BufferedOutputStream比FileWriter慢515毫秒。
不要小看这几秒的时间。当操作的数据量很大的时候,这点性能的差距就会很大了。在通用数据迁移工具导出数据库2千万条记录生成sql脚本文件的时候,性能性能相差10分钟以上。
评论
3 楼
zhangzcz1999
2010-04-19
lin36 写道
楼主的程序有问题,测试的时间包含有调用
"测试java 文件操作\r\n".getBytes()
的开销
以下程序在我的Linux下运行结果为:
FileOutputStream执行耗时:3375 豪秒
BufferedOutputStream执行耗时:142 豪秒
FileWriter执行耗时:608 豪秒
"测试java 文件操作\r\n".getBytes()
的开销
以下程序在我的Linux下运行结果为:
FileOutputStream执行耗时:3375 豪秒
BufferedOutputStream执行耗时:142 豪秒
FileWriter执行耗时:608 豪秒
hnbcjzj 写道
FileOutputStream 用于写入诸如图像数据之类的原始字节的流。要写入字符流,请考虑使用 FileWriter。 这是API里的一句话,楼主用FileWriter,其实还可以把他再封装一下。用BufferedWriter再封装,性能更好。但是如果是文件比较大的话,BufferedWriter性能会下降
这是我的测试代码:结果
int lines=10000;时
writer共耗时:47毫秒
BufferedWriter共耗时:16毫秒
int lines=100000;时
writer共耗时:203毫秒
BufferedWriter共耗时:156毫秒
int lines=1000000;时
writer共耗时:3453毫秒
BufferedWriter共耗时:2265毫秒
int lines=1000000;时千万时
writer共耗时:24578毫秒
BufferedWriter共耗时:23047毫秒
每次的结果会不一样,
这是我的测试代码:结果
int lines=10000;时
writer共耗时:47毫秒
BufferedWriter共耗时:16毫秒
int lines=100000;时
writer共耗时:203毫秒
BufferedWriter共耗时:156毫秒
int lines=1000000;时
writer共耗时:3453毫秒
BufferedWriter共耗时:2265毫秒
int lines=1000000;时千万时
writer共耗时:24578毫秒
BufferedWriter共耗时:23047毫秒
每次的结果会不一样,
呵呵,谢谢两位啊~
我也只是转过来的呢,没有做过测试~~
2 楼
hnbcjzj
2010-04-19
FileOutputStream 用于写入诸如图像数据之类的原始字节的流。要写入字符流,请考虑使用 FileWriter。 这是API里的一句话,楼主用FileWriter,其实还可以把他再封装一下。用BufferedWriter再封装,性能更好。但是如果是文件比较大的话,BufferedWriter性能会下降
private void exportFile(/*File file*/){
FileWriter writer=null;//new FileWriter(file);
BufferedWriter bf=null;//new BufferedWriter(writer);
File file=null;
try {
file=new File("E:/tool/20100419.test1");
writer =new FileWriter(file);
int lines=100000;
long t1=System.currentTimeMillis();
for(int i=0;i<lines;i++){
writer.write("测试一地;sadfdsfsad可耕地非机动车无可厚非地方工业厅12!@#$%^&*()7981323322");
}
writer.flush();
writer.close();
long t2=System.currentTimeMillis();
System.out.println("writer共耗时:"+(t2-t1)+"毫秒");
file=new File("E:/tool/20100419.test2");
bf=new BufferedWriter(new FileWriter(file));
long t3=System.currentTimeMillis();
for(int i=0;i<lines;i++){
bf.write("测试一地;sadfdsfsad可耕地非机动车无可厚非地方工业厅12!@#$%^&*()7981323322");
}
bf.flush();
bf.close();
long t4=System.currentTimeMillis();
System.out.println("BufferedWriter共耗时:"+(t4-t3)+"毫秒");
} catch (IOException e) {
e.printStackTrace();
}finally{
try {
if(bf!=null)
bf.close();
if(writer!=null)
writer.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
public static void main(String args[]){
ExportTbExcutService test=new ExportTbExcutService();
// test.createFilePath("test.txt");
test.exportFile();
}
这是我的测试代码:结果
int lines=10000;时
writer共耗时:47毫秒
BufferedWriter共耗时:16毫秒
int lines=100000;时
writer共耗时:203毫秒
BufferedWriter共耗时:156毫秒
int lines=1000000;时
writer共耗时:3453毫秒
BufferedWriter共耗时:2265毫秒
int lines=1000000;时千万时
writer共耗时:24578毫秒
BufferedWriter共耗时:23047毫秒
每次的结果会不一样,
private void exportFile(/*File file*/){
FileWriter writer=null;//new FileWriter(file);
BufferedWriter bf=null;//new BufferedWriter(writer);
File file=null;
try {
file=new File("E:/tool/20100419.test1");
writer =new FileWriter(file);
int lines=100000;
long t1=System.currentTimeMillis();
for(int i=0;i<lines;i++){
writer.write("测试一地;sadfdsfsad可耕地非机动车无可厚非地方工业厅12!@#$%^&*()7981323322");
}
writer.flush();
writer.close();
long t2=System.currentTimeMillis();
System.out.println("writer共耗时:"+(t2-t1)+"毫秒");
file=new File("E:/tool/20100419.test2");
bf=new BufferedWriter(new FileWriter(file));
long t3=System.currentTimeMillis();
for(int i=0;i<lines;i++){
bf.write("测试一地;sadfdsfsad可耕地非机动车无可厚非地方工业厅12!@#$%^&*()7981323322");
}
bf.flush();
bf.close();
long t4=System.currentTimeMillis();
System.out.println("BufferedWriter共耗时:"+(t4-t3)+"毫秒");
} catch (IOException e) {
e.printStackTrace();
}finally{
try {
if(bf!=null)
bf.close();
if(writer!=null)
writer.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
public static void main(String args[]){
ExportTbExcutService test=new ExportTbExcutService();
// test.createFilePath("test.txt");
test.exportFile();
}
这是我的测试代码:结果
int lines=10000;时
writer共耗时:47毫秒
BufferedWriter共耗时:16毫秒
int lines=100000;时
writer共耗时:203毫秒
BufferedWriter共耗时:156毫秒
int lines=1000000;时
writer共耗时:3453毫秒
BufferedWriter共耗时:2265毫秒
int lines=1000000;时千万时
writer共耗时:24578毫秒
BufferedWriter共耗时:23047毫秒
每次的结果会不一样,
1 楼
lin36
2009-12-22
楼主的程序有问题,测试的时间包含有调用
"测试java 文件操作\r\n".getBytes()
的开销
以下程序在我的Linux下运行结果为:
FileOutputStream执行耗时:3375 豪秒
BufferedOutputStream执行耗时:142 豪秒
FileWriter执行耗时:608 豪秒
PS:
import java.io.File;
import java.io.FileOutputStream;
import java.io.*;
public class WriteFile {
public static void main(String[] args) {
FileOutputStream out = null;
FileOutputStream outSTr = null;
BufferedOutputStream Buff = null;
FileWriter fw = null;
int count = 1000000;// 写文件行数
try {
byte[] b = "测试java 文件操作\n".getBytes();
String str = "测试java 文件操作\n";
out = new FileOutputStream(new File("/tmp/add.txt"));
long begin = System.currentTimeMillis();
for (int i = 0; i < count; i++) {
out.write(b);
}
out.close();
long end = System.currentTimeMillis();
System.out.println("FileOutputStream执行耗时:" + (end - begin) + " 豪秒");
outSTr = new FileOutputStream(new File("/tmp/add.txt2"));
Buff = new BufferedOutputStream(outSTr);
long begin0 = System.currentTimeMillis();
for (int i = 0; i < count; i++) {
Buff.write(b);
}
Buff.flush();
Buff.close();
long end0 = System.currentTimeMillis();
System.out.println("BufferedOutputStream执行耗时:" + (end0 - begin0)
+ " 豪秒");
fw = new FileWriter("/tmp/add.txt3");
long begin3 = System.currentTimeMillis();
for (int i = 0; i < count; i++) {
fw.write(str);
}
fw.close();
long end3 = System.currentTimeMillis();
System.out.println("FileWriter执行耗时:" + (end3 - begin3) + " 豪秒");
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
fw.close();
Buff.close();
outSTr.close();
out.close();
} catch (Exception e) {
e.printStackTrace();
}
}
}
}
"测试java 文件操作\r\n".getBytes()
的开销
以下程序在我的Linux下运行结果为:
FileOutputStream执行耗时:3375 豪秒
BufferedOutputStream执行耗时:142 豪秒
FileWriter执行耗时:608 豪秒
PS:
import java.io.File;
import java.io.FileOutputStream;
import java.io.*;
public class WriteFile {
public static void main(String[] args) {
FileOutputStream out = null;
FileOutputStream outSTr = null;
BufferedOutputStream Buff = null;
FileWriter fw = null;
int count = 1000000;// 写文件行数
try {
byte[] b = "测试java 文件操作\n".getBytes();
String str = "测试java 文件操作\n";
out = new FileOutputStream(new File("/tmp/add.txt"));
long begin = System.currentTimeMillis();
for (int i = 0; i < count; i++) {
out.write(b);
}
out.close();
long end = System.currentTimeMillis();
System.out.println("FileOutputStream执行耗时:" + (end - begin) + " 豪秒");
outSTr = new FileOutputStream(new File("/tmp/add.txt2"));
Buff = new BufferedOutputStream(outSTr);
long begin0 = System.currentTimeMillis();
for (int i = 0; i < count; i++) {
Buff.write(b);
}
Buff.flush();
Buff.close();
long end0 = System.currentTimeMillis();
System.out.println("BufferedOutputStream执行耗时:" + (end0 - begin0)
+ " 豪秒");
fw = new FileWriter("/tmp/add.txt3");
long begin3 = System.currentTimeMillis();
for (int i = 0; i < count; i++) {
fw.write(str);
}
fw.close();
long end3 = System.currentTimeMillis();
System.out.println("FileWriter执行耗时:" + (end3 - begin3) + " 豪秒");
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
fw.close();
Buff.close();
outSTr.close();
out.close();
} catch (Exception e) {
e.printStackTrace();
}
}
}
}
发表评论
-
(转)Word文档解析介绍(using Jacob & HtmlParser)
2010-11-01 14:21 2605Java中Word的解析方法据我了解有多种,如通过jacob调 ... -
(转)Java同步技术
2010-03-15 15:26 1187Java同步技术 收藏 by:文/ Iangao 200 ... -
Java和oracle分页处理
2009-12-09 18:16 2512Oracle的分页查询语句基 ... -
Log4j记录详细异常信息
2009-08-11 16:56 1446//代码片断,其中log为log4j对象,ex为异常对象 / ... -
解决iframe中session丢失的问题
2009-08-04 11:35 2765最近由于要做页面引用,在Iframe中引用其他系统的页面,而其 ... -
转:HttpClient POST 的 UTF-8等编码问题
2009-04-26 15:46 3596Apache HttpClient ( http://jaka ... -
RCP中实现带有run in background按钮的进度条对话框
2009-04-02 12:05 3397public class TestWithProgress ... -
spring cron表达式
2009-03-02 15:35 1998Cron表达式是一个字符串 ... -
使用apache的Httpclient上传文件
2009-02-27 14:25 4510String targetUrl = "htt ... -
eclipse中的线程
2009-02-10 16:25 860先大致讲一讲GUI程序中 ... -
GEF初步学习
2009-01-21 17:06 1418这周公司突然要我去接手同事写的GEF和RCP工作。于是急匆匆的 ... -
(转)Java复习
2009-01-16 17:28 773类成员访问修饰符与继承的关系 私有的(private)类成员 ... -
eclipse启动参数(eclipse.ini)说明
2009-01-07 09:45 1640今天在写RCP程序的时候跟踪程序,出现了java.lang.O ... -
Lucene已建索引的全部删除
2008-11-07 17:37 1508今天搞个重建索引工作,一开始想要把建索引的文件目录删除然后再来 ... -
Lucene 搜索试用
2008-10-22 11:57 966传说中强大的Lucene搜索,首先要创建索引: impor ... -
JXL操作excel代码实例
2008-10-18 17:53 1445import java.io.File; import ... -
Webphere启动报java.lang.ClassCastException问题解决
2008-09-26 19:55 3382昨天使用websphere部署war包,部署成功了,启动也成功 ... -
opencsv开源 CSV文件操作包简介
2008-05-30 09:47 3902opencsv is a very simple csv (c ... -
Tomcat下配置与使用CAS实现单点登录
2008-05-23 10:47 2498配置Tomcat使用SSL安全认证 因为CAS使用的是http ... -
(转)TCP端口扫描程序
2008-05-22 10:17 1218import java.io.IOException; ...
相关推荐
Java 中对文件的读写操作之比较
java读写文件的方法.pdf
java读写文件的方法,java操作文件
介绍了如何通过java来读写xml的方法,其中介绍了几种方法,如:DOM、SAX、JDOM、JAXB、dom4j.
主要实现的是登录服务器操作服务器的中的文件数据,支持读写的操作。主要使用的方法getProperties是设置配置的login(参数一是访问服务器的配置,参数二是设置读还是写)方法是读写连接服务器
代码详细描述了通过java读写xml文件的方法,值得一看
netcdf即nc文件的读写实例,java版本的,不懂的地方可以问我,lishirongtech@126.com
java 删除某行和读写txt文件 java中貌似没有直接删除某行的方法,这里用的方法是把文件里的内容读出来,写入一个String里,(不要的那行找到,不要写入String),然后再重新写入文件
C++,java读写二进制文件方法介绍.docx
主要给大家介绍了关于Java文件、文件夹权限修改的两种方法,文中通过示例代码介绍的非常详细,对大家学习或者使用Java具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
使用Java写入大数据文件的方法,分文件写入。
JAVA本身并没有读写INI文件的现成方法,有些人自己编写方法来读写INI文件,但是这样的方法或多或少的存在着一些问题。此示例旨在利用本地的WIN32API函数来读写INI文件,这样可以保证INI读写的正确性。 通过此例子...
– 输入流:只能从中读取字节数据,而不能向其写出数据 – 输出流:只能向其写入字节数据,而不能从中读取数据 • 按照流所处理的数据类型 – 字节流:用于处理字节数据。 – 字符流:用于处理Unicode字符数据。 • ...
java读取本地.db文件简单方法,sqlite数据库类型文件获取数据
一种基于Java注解和反射机制的Excel文件读写操作方法.pdf
经过了我的测试,可以直接用的 例如: public void ... sb.append("这是第"+i+"行:前面介绍的各种方法都不关用,为什么总是奇怪的问题 "); out.write(sb.toString().getBytes("utf-8")); } out.close(); }
C++,java读写二进制文件方法介绍.pdf java从第九页开始
一个简单的提供覆盖式和追加式写文件功能的JAVA类,可调用其覆盖式方法创建新文件或重置老文件内容,调用其追加式方法在已有文件中增加新内容。
java读取属性文件通用方法,以及日志记录