编程语言
首页 > 编程语言> > Java读取Excel表格大文件

Java读取Excel表格大文件

作者:互联网

使用技术:

处理大量Excel数据

这里提供思路,大致情况还需要看需求,

读取少量数据也可以使用poiExcel或者excelExcel,当使用大量数据时,我的是70万条,普通的方法会报内存溢出。

pom.xml

       <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi</artifactId>
            <version>4.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>4.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-scratchpad</artifactId>
            <version>4.0.0</version>
        </dependency>

        <!-- 读取大量excel数据时使用 -->
        <dependency>
            <groupId>com.monitorjbl</groupId>
            <artifactId>xlsx-streamer</artifactId>
            <version>2.1.0</version>
        </dependency>

代码:

public class SanuSupportInfo {
    private static SXSSFWorkbook wb;

    @Test
    public void getex() throws IOException {
        boolean isTitle = true; // 用于跳过标题
        String path = "xxxx.xlsx"; // 文件地址

        FileInputStream in = new FileInputStream(path);
        Workbook wk = StreamingReader.builder()
                .rowCacheSize(100)  //缓存到内存中的行数,默认是10
                .bufferSize(4096)  //读取资源时,缓存到内存的字节大小,默认是1024
                .open(in);  //打开资源,必须,可以是InputStream或者是File,注意:只能打开XLSX格式的文件
        Sheet sheet = wk.getSheetAt(0);    //取第0张表


        //遍历所有的行
        for (Row row : sheet) {
            if (isTitle) {    // 跳过第一行标题,需要标题时可以注释掉判断
                isTitle = false;
                continue;
            }
            System.out.println("开始遍历第" + row.getRowNum() + "行数据:");

            Map<Integer, String> map = new HashMap<>();
            List<String> list = new ArrayList<>(15); // 存储一行的值,一行多少列自己定,我的是15列,也可以存到map,自己决定

            //遍历所有的列
            Set<Map.Entry<Integer, Cell>> entries = ((StreamingRow) row).getCellMap().entrySet();
            Iterator<Map.Entry<Integer, Cell>> iterator = entries.iterator();

            // 遍历得到键值对,存入新的map中
            while (iterator.hasNext()) {
                Map.Entry<Integer, Cell> next = iterator.next();
                Integer key = next.getKey();
                String value = next.getValue().getStringCellValue();
                map.put(key, value);    //这一步很重要啊,当表中存在空值时,是直接跳过的,所以要用key记录一下索引,后面遍历使用
            }
            // 遍历map,存入list
            for (int i = 0; i < 15; i++) {
                String content = map.get(i);
                if(content==null){   // 避免出现空的情况,因为当表含有空数据时是直接跳过的,所以key存储索引就起到了作用
                    list.add(null);
                }else{
                    list.add(content);
                }
            }
        }
    }

经过上面代码后,一行的数据就存到了list中了,若要存储每一行数据的集合,可以把list存到集合中,然后在获取

标签:map,遍历,Java,读取,iterator,Excel,list,key,poi
来源: https://www.cnblogs.com/Retired-lad/p/16336848.html