读取大文件性能测试

2019-11-14 15:34:31

字体：大中小

来源：转载

供稿：网友

读取大文件的方法这里有三种，

第一种，使用commons-io的FileUtils的类进行读取

第二种，使用Scanner进行读取

第三种，使用cache进行读取

读取文件大小：102M

使用commons-io的FileUtils类进行读取

public static void testReadFile() {        try {            LineIterator lineIterator = FileUtils.lineIterator(new File("D:/test.log"), "UTF-8");            while (lineIterator.hasNext()) {                String line = lineIterator.nextLine();                System.out.PRintln(line);            }        } catch (IOException e) {            e.printStackTrace();        }    }

读取时间在8秒左右

使用Scanner进行读取：

public static void testScannerReadFile() {        FileInputStream fileInputStream = null;        Scanner scanner = null;        try {            fileInputStream = new FileInputStream("D:/test.log");            scanner = new Scanner(fileInputStream, "UTF-8");            while (scanner.hasNext()) {                String line = scanner.nextLine();                System.out.println(line);            }        } catch (FileNotFoundException e) {            e.printStackTrace();        } finally {            if (fileInputStream != null) {                try {                    fileInputStream.close();                } catch (IOException e) {                    e.printStackTrace();                }            }            if (scanner != null) {                scanner.close();            }        }    }

读取时间在10秒左右

使用cache读取

public static void readCache() {        String filename = "D:/test.log";        File file = new File(filename);        BufferedReader reader = null;        try {            reader = new BufferedReader(new FileReader(file), 10 * 1024 * 1024);   //读大文件 设置缓存            String tempString = null;            while ((tempString = reader.readLine()) != null) {                System.out.println(tempString);            }            reader.close();        } catch (IOException e) {            e.printStackTrace();        } finally {            if (reader != null) {                try {                    reader.close();                } catch (IOException e) {                    e.printStackTrace();                }            }        }    }