Java读取Excel表格大文件
作者:互联网
使用技术:
处理大量Excel数据
这里提供思路,大致情况还需要看需求,
读取少量数据也可以使用poiExcel或者excelExcel,当使用大量数据时,我的是70万条,普通的方法会报内存溢出。
pom.xml
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi</artifactId>
<version>4.0.0</version>
</dependency>
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi-ooxml</artifactId>
<version>4.0.0</version>
</dependency>
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi-scratchpad</artifactId>
<version>4.0.0</version>
</dependency>
<!-- 读取大量excel数据时使用 -->
<dependency>
<groupId>com.monitorjbl</groupId>
<artifactId>xlsx-streamer</artifactId>
<version>2.1.0</version>
</dependency>
代码:
public class SanuSupportInfo {
private static SXSSFWorkbook wb;
@Test
public void getex() throws IOException {
boolean isTitle = true; // 用于跳过标题
String path = "xxxx.xlsx"; // 文件地址
FileInputStream in = new FileInputStream(path);
Workbook wk = StreamingReader.builder()
.rowCacheSize(100) //缓存到内存中的行数,默认是10
.bufferSize(4096) //读取资源时,缓存到内存的字节大小,默认是1024
.open(in); //打开资源,必须,可以是InputStream或者是File,注意:只能打开XLSX格式的文件
Sheet sheet = wk.getSheetAt(0); //取第0张表
//遍历所有的行
for (Row row : sheet) {
if (isTitle) { // 跳过第一行标题,需要标题时可以注释掉判断
isTitle = false;
continue;
}
System.out.println("开始遍历第" + row.getRowNum() + "行数据:");
Map<Integer, String> map = new HashMap<>();
List<String> list = new ArrayList<>(15); // 存储一行的值,一行多少列自己定,我的是15列,也可以存到map,自己决定
//遍历所有的列
Set<Map.Entry<Integer, Cell>> entries = ((StreamingRow) row).getCellMap().entrySet();
Iterator<Map.Entry<Integer, Cell>> iterator = entries.iterator();
// 遍历得到键值对,存入新的map中
while (iterator.hasNext()) {
Map.Entry<Integer, Cell> next = iterator.next();
Integer key = next.getKey();
String value = next.getValue().getStringCellValue();
map.put(key, value); //这一步很重要啊,当表中存在空值时,是直接跳过的,所以要用key记录一下索引,后面遍历使用
}
// 遍历map,存入list
for (int i = 0; i < 15; i++) {
String content = map.get(i);
if(content==null){ // 避免出现空的情况,因为当表含有空数据时是直接跳过的,所以key存储索引就起到了作用
list.add(null);
}else{
list.add(content);
}
}
}
}
经过上面代码后,一行的数据就存到了list中了,若要存储每一行数据的集合,可以把list存到集合中,然后在获取
标签:map,遍历,Java,读取,iterator,Excel,list,key,poi 来源: https://www.cnblogs.com/Retired-lad/p/16336848.html