現(xiàn)MySQL到Excel高效導(dǎo)出與導(dǎo)入：POI與EasyExcel實(shí)戰(zhàn))
1. 為什么“數(shù)據(jù)庫(kù)到Excel”這個(gè)需求值得認(rèn)真對(duì)待但凡做過企業(yè)級(jí)應(yīng)用的人幾乎都繞不開一個(gè)場(chǎng)景業(yè)務(wù)方跑過來說“能不能把系統(tǒng)里的數(shù)據(jù)導(dǎo)出來給我我要在Excel里做分析”?；蛘叻催^來“我這邊整理了一份Excel能不能批量導(dǎo)入到系統(tǒng)里”。這個(gè)需求聽起來簡(jiǎn)單得不像個(gè)技術(shù)問題但真正動(dòng)過手的人都知道從MySQL到Excel的導(dǎo)出與導(dǎo)入坑遠(yuǎn)比想象中多。我做過不少類似的項(xiàng)目從最早用JDBC拼字符串生成CSV到后來用POI直接寫xlsx再到用EasyExcel處理百萬行級(jí)別的數(shù)據(jù)每一次都在踩坑中積累經(jīng)驗(yàn)。這篇文章就把我這些年在這個(gè)場(chǎng)景下積累的東西完整梳理一遍從方案選型、核心實(shí)現(xiàn)、性能優(yōu)化到常見問題排查盡量做到你拿著就能用。先說清楚這個(gè)內(nèi)容適合誰看如果你是一個(gè)Java后端開發(fā)者手頭有MySQL數(shù)據(jù)庫(kù)需要實(shí)現(xiàn)數(shù)據(jù)的Excel導(dǎo)出和導(dǎo)入功能不管你是剛?cè)胄械男率诌€是有一定經(jīng)驗(yàn)的工程師這篇文章都能給你提供可直接參考的方案。我會(huì)從最基礎(chǔ)的實(shí)現(xiàn)講起逐步深入到性能優(yōu)化和異常處理中間會(huì)穿插大量實(shí)際項(xiàng)目中總結(jié)的經(jīng)驗(yàn)和注意事項(xiàng)。核心關(guān)鍵詞就幾個(gè)Java、MySQL、Excel、導(dǎo)出、導(dǎo)入、Apache POI、EasyExcel。這些詞會(huì)貫穿全文但我不會(huì)為了堆砌而堆砌每個(gè)技術(shù)點(diǎn)的出現(xiàn)都是因?yàn)閷?shí)際需要。2. 方案選型用什么庫(kù)、走什么路線2.1 主流Excel處理庫(kù)對(duì)比Java生態(tài)里處理Excel的庫(kù)不算多主流的就是那么幾個(gè)。我整理了一個(gè)對(duì)比表格方便你根據(jù)自己項(xiàng)目的實(shí)際情況做選擇庫(kù)名稱優(yōu)勢(shì)劣勢(shì)適用場(chǎng)景Apache POI功能最全支持xls和xlsx社區(qū)成熟API偏底層代碼量大內(nèi)存占用高復(fù)雜格式、圖表、公式等高級(jí)需求EasyExcelAPI簡(jiǎn)潔內(nèi)存占用低適合大數(shù)據(jù)量功能相對(duì)POI少一些復(fù)雜格式支持有限大數(shù)據(jù)量導(dǎo)入導(dǎo)出格式要求不極端JXL輕量API簡(jiǎn)單只支持xls已停止維護(hù)老項(xiàng)目維護(hù)新項(xiàng)目不推薦CSV方案極簡(jiǎn)無依賴性能最好不支持格式、多sheet編碼問題多純數(shù)據(jù)交換無格式要求我個(gè)人的選擇邏輯是這樣的如果數(shù)據(jù)量在10萬行以內(nèi)格式要求不高直接用EasyExcel如果數(shù)據(jù)量超過50萬行優(yōu)先考慮EasyExcel的流式處理或者CSV方案如果業(yè)務(wù)方要求復(fù)雜的表頭合并、單元格樣式、公式計(jì)算那就老老實(shí)實(shí)用Apache POI。這里要特別說一個(gè)誤區(qū)很多人覺得POI性能差就完全不用其實(shí)POI的SXSSF模式流式寫入在處理大數(shù)據(jù)量時(shí)表現(xiàn)也不差只是API用起來確實(shí)比EasyExcel啰嗦不少。2.2 導(dǎo)出方案的核心考量導(dǎo)出這個(gè)方向核心要解決的問題就三個(gè)數(shù)據(jù)量、格式要求、響應(yīng)方式。數(shù)據(jù)量決定了你用哪種寫入模式。POI的XSSF模式是把整個(gè)工作簿放在內(nèi)存里10萬行以上就可能OOMSXSSF模式是流式寫入只在內(nèi)存里保留一定行數(shù)默認(rèn)100行適合百萬級(jí)數(shù)據(jù)。EasyExcel底層也是基于流式寫入的思路但封裝得更好用。格式要求決定了你選哪個(gè)庫(kù)。如果只是簡(jiǎn)單的表頭加數(shù)據(jù)行EasyExcel足夠如果需要合并單元格、設(shè)置條件格式、插入圖片那POI是唯一選擇。響應(yīng)方式?jīng)Q定了你的接口設(shè)計(jì)。如果是同步導(dǎo)出用戶點(diǎn)擊按鈕后等待文件生成然后下載那要注意HTTP超時(shí)和內(nèi)存控制如果是異步導(dǎo)出生成文件后存到文件服務(wù)器再通知用戶下載那要考慮文件清理和并發(fā)控制。2.3 導(dǎo)入方案的核心考量導(dǎo)入比導(dǎo)出更復(fù)雜因?yàn)槟阋幚碛脩糨斎氲牟淮_定性。用戶可能傳一個(gè)空文件、可能傳一個(gè)格式不對(duì)的文件、可能傳一個(gè)列順序亂掉的文件、可能傳一個(gè)包含非法字符的文件。導(dǎo)入功能的核心不是“讀Excel”而是“校驗(yàn)和容錯(cuò)”。我的經(jīng)驗(yàn)是導(dǎo)入功能至少要考慮以下幾層校驗(yàn)文件格式校驗(yàn)是不是xlsx/xls、文件大小校驗(yàn)防止惡意大文件、表頭校驗(yàn)列名和順序是否匹配、數(shù)據(jù)類型校驗(yàn)數(shù)字列是不是數(shù)字、業(yè)務(wù)規(guī)則校驗(yàn)必填項(xiàng)、唯一性、關(guān)聯(lián)關(guān)系。每一層校驗(yàn)都要給用戶明確的錯(cuò)誤提示最好能定位到具體是哪一行哪一列出了問題。3. 從MySQL導(dǎo)出到Excel的完整實(shí)現(xiàn)3.1 環(huán)境準(zhǔn)備與依賴引入先假設(shè)你用的是Maven項(xiàng)目需要引入的依賴如下。這里我同時(shí)給出POI和EasyExcel的依賴你可以根據(jù)實(shí)際選型決定用哪個(gè)!-- Apache POI 核心依賴 -- dependency groupIdorg.apache.poi/groupId artifactIdpoi/artifactId version5.2.3/version /dependency dependency groupIdorg.apache.poi/groupId artifactIdpoi-ooxml/artifactId version5.2.3/version /dependency !-- EasyExcel 依賴 -- dependency groupIdcom.alibaba/groupId artifactIdeasyexcel/artifactId version3.3.2/version /dependency !-- MySQL 驅(qū)動(dòng) -- dependency groupIdmysql/groupId artifactIdmysql-connector-java/artifactId version8.0.33/version /dependency注意POI 5.x版本和4.x版本在API上有一些差異網(wǎng)上很多老教程用的是4.x的寫法直接復(fù)制可能會(huì)編譯報(bào)錯(cuò)。建議統(tǒng)一用5.x版本API更穩(wěn)定。數(shù)據(jù)庫(kù)連接池我推薦用HikariCPSpring Boot項(xiàng)目默認(rèn)就是它這里不展開。關(guān)鍵是要確保你的數(shù)據(jù)源配置里fetchSize設(shè)置合理導(dǎo)出大數(shù)據(jù)量時(shí)這個(gè)參數(shù)直接影響內(nèi)存占用。3.2 基于POI的導(dǎo)出實(shí)現(xiàn)先看一個(gè)最基礎(chǔ)的POI導(dǎo)出實(shí)現(xiàn)把MySQL中的一張表導(dǎo)出為xlsx文件。假設(shè)我們有一張用戶表字段包括id、name、email、create_timepublic void exportWithPoi(Connection conn, String outputPath) throws Exception { String sql SELECT id, name, email, create_time FROM user; try (PreparedStatement ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY)) { // 關(guān)鍵設(shè)置流式讀取結(jié)果集避免一次性加載所有數(shù)據(jù)到內(nèi)存 ps.setFetchSize(Integer.MIN_VALUE); // MySQL驅(qū)動(dòng)需要設(shè)置為流式模式 ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); ps.setFetchSize(Integer.MIN_VALUE); try (ResultSet rs ps.executeQuery(); SXSSFWorkbook workbook new SXSSFWorkbook(100)) { // 內(nèi)存中保留100行 Sheet sheet workbook.createSheet(用戶數(shù)據(jù)); // 創(chuàng)建表頭 Row headerRow sheet.createRow(0); String[] headers {ID, 姓名, 郵箱, 創(chuàng)建時(shí)間}; for (int i 0; i headers.length; i) { Cell cell headerRow.createCell(i); cell.setCellValue(headers[i]); } // 填充數(shù)據(jù) int rowIndex 1; while (rs.next()) { Row row sheet.createRow(rowIndex); row.createCell(0).setCellValue(rs.getLong(id)); row.createCell(1).setCellValue(rs.getString(name)); row.createCell(2).setCellValue(rs.getString(email)); Timestamp ts rs.getTimestamp(create_time); if (ts ! null) { row.createCell(3).setCellValue( new SimpleDateFormat(yyyy-MM-dd HH:mm:ss).format(ts)); } } // 寫入文件 try (FileOutputStream fos new FileOutputStream(outputPath)) { workbook.write(fos); } // 清理臨時(shí)文件 workbook.dispose(); } } }這段代碼有幾個(gè)關(guān)鍵點(diǎn)需要解釋。第一SXSSFWorkbook的構(gòu)造參數(shù)100表示內(nèi)存中只保留100行數(shù)據(jù)超出的部分會(huì)寫入臨時(shí)文件這樣即使導(dǎo)出100萬行也不會(huì)OOM。第二ps.setFetchSize(Integer.MIN_VALUE)是MySQL驅(qū)動(dòng)特有的流式讀取設(shè)置不加這個(gè)的話驅(qū)動(dòng)會(huì)一次性把所有結(jié)果集加載到內(nèi)存數(shù)據(jù)量大時(shí)同樣會(huì)OOM。第三workbook.dispose()一定要調(diào)用否則臨時(shí)文件不會(huì)被清理磁盤空間會(huì)被慢慢吃掉。3.3 基于EasyExcel的導(dǎo)出實(shí)現(xiàn)同樣的需求用EasyExcel來實(shí)現(xiàn)會(huì)簡(jiǎn)潔很多。先定義一個(gè)數(shù)據(jù)對(duì)象Data public class UserExcelDTO { ExcelProperty(ID) private Long id; ExcelProperty(姓名) private String name; ExcelProperty(郵箱) private String email; ExcelProperty(創(chuàng)建時(shí)間) DateTimeFormat(yyyy-MM-dd HH:mm:ss) private Date createTime; }然后導(dǎo)出邏輯public void exportWithEasyExcel(Connection conn, String outputPath) throws Exception { String sql SELECT id, name, email, create_time FROM user; try (PreparedStatement ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY)) { ps.setFetchSize(Integer.MIN_VALUE); try (ResultSet rs ps.executeQuery()) { // 構(gòu)建數(shù)據(jù)列表實(shí)際項(xiàng)目中建議分批查詢避免一次性加載 ListUserExcelDTO dataList new ArrayList(); while (rs.next()) { UserExcelDTO dto new UserExcelDTO(); dto.setId(rs.getLong(id)); dto.setName(rs.getString(name)); dto.setEmail(rs.getString(email)); dto.setCreateTime(rs.getTimestamp(create_time)); dataList.add(dto); } EasyExcel.write(outputPath, UserExcelDTO.class) .sheet(用戶數(shù)據(jù)) .doWrite(dataList); } } }EasyExcel的代碼量明顯少很多而且ExcelProperty注解直接定義了表頭DateTimeFormat處理了日期格式化非常直觀。但要注意上面這種寫法是把所有數(shù)據(jù)先加載到List里再寫入數(shù)據(jù)量特別大時(shí)內(nèi)存會(huì)有壓力。EasyExcel也支持分批寫入后面性能優(yōu)化部分會(huì)講。3.4 導(dǎo)出功能的接口設(shè)計(jì)實(shí)際項(xiàng)目中導(dǎo)出通常是一個(gè)HTTP接口。這里給出一個(gè)Spring Boot的Controller示例GetMapping(/export/users) public void exportUsers(HttpServletResponse response) throws IOException { response.setContentType(application/vnd.openxmlformats-officedocument.spreadsheetml.sheet); response.setCharacterEncoding(utf-8); String fileName URLEncoder.encode(用戶數(shù)據(jù), UTF-8).replaceAll(\\, %20); response.setHeader(Content-Disposition, attachment;filename*utf-8 fileName .xlsx); // 使用EasyExcel直接寫入response的輸出流 EasyExcel.write(response.getOutputStream(), UserExcelDTO.class) .sheet(用戶數(shù)據(jù)) .doWrite(queryUserList()); }提示文件名一定要做URL編碼否則中文文件名在部分瀏覽器上會(huì)亂碼。filename*utf-8這種寫法是RFC 5987規(guī)定的兼容性最好。4. 從Excel導(dǎo)入到MySQL的完整實(shí)現(xiàn)4.1 導(dǎo)入功能的設(shè)計(jì)思路導(dǎo)入功能我一般會(huì)拆成三個(gè)階段解析階段、校驗(yàn)階段、入庫(kù)階段。解析階段負(fù)責(zé)把Excel文件讀成Java對(duì)象列表校驗(yàn)階段負(fù)責(zé)檢查數(shù)據(jù)的合法性入庫(kù)階段負(fù)責(zé)批量寫入數(shù)據(jù)庫(kù)。這三個(gè)階段分開的好處是每個(gè)階段都可以獨(dú)立處理異常給用戶精確的錯(cuò)誤反饋。解析階段用EasyExcel的監(jiān)聽器模式是最合適的因?yàn)樗С种鹦凶x取不需要一次性加載整個(gè)文件。校驗(yàn)階段可以定義一個(gè)校驗(yàn)器接口針對(duì)不同的業(yè)務(wù)規(guī)則實(shí)現(xiàn)不同的校驗(yàn)邏輯。入庫(kù)階段用JDBC的批量插入配合事務(wù)控制。4.2 基于EasyExcel的導(dǎo)入實(shí)現(xiàn)先定義一個(gè)導(dǎo)入用的監(jiān)聽器public class UserImportListener extends AnalysisEventListenerUserExcelDTO { private static final int BATCH_SIZE 500; private ListUserExcelDTO batchList new ArrayList(BATCH_SIZE); private ListString errorMessages new ArrayList(); private int rowIndex 1; // 從第2行開始是數(shù)據(jù)第1行是表頭 private UserService userService; public UserImportListener(UserService userService) { this.userService userService; } Override public void invoke(UserExcelDTO data, AnalysisContext context) { rowIndex; // 單行校驗(yàn) String error validateRow(data); if (error ! null) { errorMessages.add(第 rowIndex 行 error); return; } batchList.add(data); // 達(dá)到批次大小就入庫(kù) if (batchList.size() BATCH_SIZE) { saveBatch(); } } Override public void doAfterAllAnalysed(AnalysisContext context) { // 處理最后一批 if (!batchList.isEmpty()) { saveBatch(); } } private void saveBatch() { try { userService.batchInsert(batchList); } catch (Exception e) { errorMessages.add(批次入庫(kù)失敗 e.getMessage()); } batchList.clear(); } private String validateRow(UserExcelDTO data) { if (data.getName() null || data.getName().trim().isEmpty()) { return 姓名不能為空; } if (data.getEmail() null || !data.getEmail().matches(^[\\w.-][\\w.-]\\.[a-zA-Z]{2,}$)) { return 郵箱格式不正確; } return null; } public ListString getErrorMessages() { return errorMessages; } }調(diào)用方式public ImportResult importUsers(MultipartFile file) throws IOException { UserImportListener listener new UserImportListener(userService); EasyExcel.read(file.getInputStream(), UserExcelDTO.class, listener) .sheet() .doRead(); ImportResult result new ImportResult(); result.setSuccessCount(/* 成功條數(shù) */); result.setErrorMessages(listener.getErrorMessages()); return result; }這個(gè)實(shí)現(xiàn)有幾個(gè)值得注意的地方。第一BATCH_SIZE設(shè)為500是一個(gè)經(jīng)驗(yàn)值太小會(huì)導(dǎo)致頻繁的數(shù)據(jù)庫(kù)交互太大會(huì)占用過多內(nèi)存500到1000之間比較合適。第二錯(cuò)誤信息記錄了具體的行號(hào)用戶拿到反饋后可以直接定位到Excel中的問題行。第三doAfterAllAnalysed方法里處理最后一批數(shù)據(jù)這個(gè)容易被遺漏。4.3 批量入庫(kù)的SQL優(yōu)化批量插入的性能差異非常大我做過測(cè)試逐條插入和批量插入在1萬條數(shù)據(jù)上的耗時(shí)差距可以達(dá)到幾十倍。下面是批量插入的示例public void batchInsert(ListUserExcelDTO list) { String sql INSERT INTO user (name, email, create_time) VALUES (?, ?, ?); try (Connection conn dataSource.getConnection(); PreparedStatement ps conn.prepareStatement(sql)) { conn.setAutoCommit(false); for (UserExcelDTO dto : list) { ps.setString(1, dto.getName()); ps.setString(2, dto.getEmail()); ps.setTimestamp(3, new Timestamp(dto.getCreateTime().getTime())); ps.addBatch(); } ps.executeBatch(); conn.commit(); } catch (SQLException e) { // 異常處理 } }注意MySQL的JDBC連接URL上要加上rewriteBatchedStatementstrue參數(shù)否則addBatch()和executeBatch()不會(huì)真正合并成一條SQL性能提升非常有限。這個(gè)參數(shù)是MySQL驅(qū)動(dòng)特有的優(yōu)化開關(guān)很多人不知道。4.4 導(dǎo)入功能的容錯(cuò)設(shè)計(jì)導(dǎo)入功能最怕的就是用戶傳了一個(gè)亂七八糟的文件然后系統(tǒng)拋出一堆看不懂的異常。我的做法是在解析之前先做一輪文件級(jí)別的校驗(yàn)public void validateFile(MultipartFile file) { if (file.isEmpty()) { throw new BusinessException(文件不能為空); } String fileName file.getOriginalFilename(); if (fileName null || (!fileName.endsWith(.xlsx) !fileName.endsWith(.xls))) { throw new BusinessException(只支持xlsx和xls格式的文件); } if (file.getSize() 10 * 1024 * 1024) { throw new BusinessException(文件大小不能超過10MB); } }然后在解析過程中對(duì)于格式錯(cuò)誤、類型轉(zhuǎn)換失敗等異常EasyExcel會(huì)拋出ExcelAnalysisException需要捕獲并轉(zhuǎn)換成用戶能理解的提示。我一般會(huì)自定義一個(gè)異常處理器EasyExcel.read(inputStream, UserExcelDTO.class, listener) .registerConverter(new CustomStringConverter()) .sheet() .doRead();自定義Converter可以處理一些特殊的數(shù)據(jù)轉(zhuǎn)換場(chǎng)景比如把Excel中的“是/否”轉(zhuǎn)換成Java的Boolean或者把“2024/1/1”這種非標(biāo)準(zhǔn)日期格式解析成Date對(duì)象。5. 性能優(yōu)化與大數(shù)據(jù)量處理5.1 導(dǎo)出性能優(yōu)化的幾個(gè)關(guān)鍵點(diǎn)大數(shù)據(jù)量導(dǎo)出核心就一個(gè)字流。從數(shù)據(jù)庫(kù)查詢到Excel寫入整條鏈路都要做到流式處理不能在任何環(huán)節(jié)把全量數(shù)據(jù)加載到內(nèi)存。數(shù)據(jù)庫(kù)層面前面提到的setFetchSize(Integer.MIN_VALUE)是必須的。但這里有個(gè)坑MySQL驅(qū)動(dòng)在流式讀取模式下同一個(gè)連接不能同時(shí)執(zhí)行其他查詢否則會(huì)報(bào)“Streaming result set is still active”的錯(cuò)誤。所以導(dǎo)出操作最好使用獨(dú)立的數(shù)據(jù)庫(kù)連接不要和業(yè)務(wù)查詢共用。Excel寫入層面POI的SXSSF模式已經(jīng)做了流式處理但要注意SXSSFWorkbook的構(gòu)造參數(shù)不要設(shè)得太大100到1000之間比較合適。設(shè)得太大內(nèi)存占用高設(shè)得太小臨時(shí)文件IO頻繁。還有一個(gè)容易被忽略的點(diǎn)是單元格樣式的創(chuàng)建。POI中每創(chuàng)建一個(gè)CellStyle都會(huì)占用內(nèi)存如果每行都創(chuàng)建新樣式數(shù)據(jù)量大時(shí)內(nèi)存會(huì)暴漲。正確的做法是把樣式創(chuàng)建在循環(huán)外面所有行復(fù)用同一個(gè)樣式對(duì)象CellStyle style workbook.createCellStyle(); Font font workbook.createFont(); font.setBold(true); style.setFont(font); // 在循環(huán)外面創(chuàng)建循環(huán)里面復(fù)用 for (int i 0; i headers.length; i) { Cell cell headerRow.createCell(i); cell.setCellValue(headers[i]); cell.setCellStyle(style); // 復(fù)用樣式 }5.2 導(dǎo)入性能優(yōu)化的幾個(gè)關(guān)鍵點(diǎn)導(dǎo)入的性能瓶頸通常在數(shù)據(jù)庫(kù)寫入上。除了前面說的批量插入和rewriteBatchedStatementstrue還有幾個(gè)優(yōu)化點(diǎn)第一關(guān)閉自動(dòng)提交。每次executeBatch()之前手動(dòng)setAutoCommit(false)批量執(zhí)行完再commit()可以減少事務(wù)開銷。第二合理設(shè)置批次大小。我實(shí)測(cè)下來500到1000條一批比較均衡。批次太小數(shù)據(jù)庫(kù)交互頻繁批次太大內(nèi)存占用高且單次事務(wù)時(shí)間長(zhǎng)。第三使用多線程解析。EasyExcel支持多線程讀取但要注意線程安全問題。如果業(yè)務(wù)允許可以把Excel按行拆分成多個(gè)片段用線程池并行解析和入庫(kù)。不過這個(gè)方案實(shí)現(xiàn)復(fù)雜度較高數(shù)據(jù)量不是特別大的話沒必要。第四數(shù)據(jù)庫(kù)連接池配置。導(dǎo)入操作會(huì)占用數(shù)據(jù)庫(kù)連接較長(zhǎng)時(shí)間連接池的maxPoolSize要設(shè)置合理避免導(dǎo)入操作把連接池占滿導(dǎo)致其他業(yè)務(wù)請(qǐng)求無法處理。5.3 內(nèi)存監(jiān)控與OOM預(yù)防大數(shù)據(jù)量導(dǎo)出最容易出的問題就是OOM。除了用流式處理還建議在代碼里加一些內(nèi)存監(jiān)控的邏輯Runtime runtime Runtime.getRuntime(); long usedMemory runtime.totalMemory() - runtime.freeMemory(); if (usedMemory runtime.maxMemory() * 0.8) { // 內(nèi)存使用超過80%觸發(fā)GC或者暫停處理 System.gc(); // 如果還是高考慮分批處理或者拋出提示 }當(dāng)然System.gc()只是建議JVM執(zhí)行GC不保證立即執(zhí)行。更可靠的做法是在JVM啟動(dòng)參數(shù)里設(shè)置合理的堆大小和GC策略比如-Xmx2g -Xms2g -XX:UseG1GC。6. 常見問題與排查技巧實(shí)錄6.1 導(dǎo)出常見問題速查表問題現(xiàn)象可能原因解決方案導(dǎo)出文件打不開提示損壞輸出流未正確關(guān)閉或?qū)懭氩煌暾_保workbook.write()后正確關(guān)閉流使用try-with-resources中文文件名亂碼未做URL編碼使用URLEncoder.encode()并設(shè)置正確的Content-Disposition導(dǎo)出數(shù)據(jù)量大了就OOM使用了XSSFWorkbook或未設(shè)置fetchSize改用SXSSFWorkbook設(shè)置setFetchSize(Integer.MIN_VALUE)日期格式不對(duì)未設(shè)置日期格式或時(shí)區(qū)問題使用DateTimeFormat注解或手動(dòng)SimpleDateFormat導(dǎo)出速度特別慢逐條查詢數(shù)據(jù)庫(kù)或頻繁創(chuàng)建樣式批量查詢樣式復(fù)用使用流式寫入數(shù)字變成了科學(xué)計(jì)數(shù)法Excel自動(dòng)格式化設(shè)置單元格格式為文本或使用BigDecimal并設(shè)置DataFormat6.2 導(dǎo)入常見問題速查表問題現(xiàn)象可能原因解決方案讀取不到數(shù)據(jù)表頭行號(hào)設(shè)置錯(cuò)誤檢查headRowNumber參數(shù)默認(rèn)是1日期解析失敗Excel中的日期格式不標(biāo)準(zhǔn)自定義Converter處理多種日期格式數(shù)字精度丟失Excel中數(shù)字被存為double使用String接收再轉(zhuǎn)換或使用BigDecimal批量插入慢未開啟rewriteBatchedStatementsJDBC URL添加該參數(shù)部分?jǐn)?shù)據(jù)入庫(kù)失敗未做事務(wù)控制使用事務(wù)失敗時(shí)回滾或記錄錯(cuò)誤行內(nèi)存溢出一次性讀取所有數(shù)據(jù)使用監(jiān)聽器模式逐行讀取分批入庫(kù)6.3 幾個(gè)我踩過的坑第一個(gè)坑MySQL流式讀取的副作用。前面提到setFetchSize(Integer.MIN_VALUE)可以實(shí)現(xiàn)流式讀取但很多人不知道的是在流式讀取模式下如果結(jié)果集沒有讀完就關(guān)閉了StatementMySQL驅(qū)動(dòng)會(huì)拋出異常。所以一定要確保ResultSet被完整遍歷或者正確關(guān)閉。第二個(gè)坑EasyExcel的并發(fā)寫入問題。EasyExcel的doWrite()方法不是線程安全的如果多個(gè)線程同時(shí)往同一個(gè)文件寫入會(huì)出現(xiàn)數(shù)據(jù)錯(cuò)亂。如果確實(shí)需要并發(fā)導(dǎo)出每個(gè)線程應(yīng)該寫入不同的文件最后再合并。第三個(gè)坑Excel的單元格類型判斷。用POI讀取Excel時(shí)cell.getCellType()返回的類型可能和預(yù)期不一致。比如用戶輸入的數(shù)字“123”Excel可能存為NUMERIC類型也可能存為STRING類型。穩(wěn)妥的做法是用DataFormatter來統(tǒng)一處理DataFormatter formatter new DataFormatter(); String value formatter.formatCellValue(cell);第四個(gè)坑大文件導(dǎo)入時(shí)的超時(shí)問題。如果導(dǎo)入的文件很大HTTP請(qǐng)求可能會(huì)超時(shí)。解決方案是把導(dǎo)入操作改成異步的用戶上傳文件后立即返回一個(gè)任務(wù)ID后臺(tái)異步處理用戶通過任務(wù)ID查詢進(jìn)度和結(jié)果。第五個(gè)坑Excel中的空行處理。用戶可能在數(shù)據(jù)末尾留了很多空行EasyExcel默認(rèn)會(huì)跳過完全空白的行但如果空行中有格式比如邊框就可能被當(dāng)成有效數(shù)據(jù)。建議在監(jiān)聽器的invoke()方法里加一個(gè)判斷如果所有字段都為空就跳過。7. 一些進(jìn)階思路與擴(kuò)展方向7.1 動(dòng)態(tài)表頭與多Sheet導(dǎo)出實(shí)際項(xiàng)目中經(jīng)常遇到需要?jiǎng)討B(tài)生成表頭的場(chǎng)景比如用戶可以選擇導(dǎo)出哪些字段。EasyExcel支持動(dòng)態(tài)表頭ListListString head new ArrayList(); head.add(Collections.singletonList(ID)); head.add(Collections.singletonList(姓名)); // 根據(jù)用戶選擇動(dòng)態(tài)添加 EasyExcel.write(outputPath) .head(head) .sheet(數(shù)據(jù)) .doWrite(dataList);多Sheet導(dǎo)出也很簡(jiǎn)單多次調(diào)用sheet()方法即可ExcelWriter writer EasyExcel.write(outputPath).build(); WriteSheet sheet1 EasyExcel.writerSheet(0, 用戶數(shù)據(jù)).head(UserExcelDTO.class).build(); WriteSheet sheet2 EasyExcel.writerSheet(1, 訂單數(shù)據(jù)).head(OrderExcelDTO.class).build(); writer.write(userList, sheet1); writer.write(orderList, sheet2); writer.finish();7.2 導(dǎo)入時(shí)的數(shù)據(jù)去重與更新策略導(dǎo)入數(shù)據(jù)時(shí)經(jīng)常需要處理“已存在的數(shù)據(jù)是更新還是跳過”的問題。我的做法是在校驗(yàn)階段查詢數(shù)據(jù)庫(kù)根據(jù)業(yè)務(wù)主鍵判斷數(shù)據(jù)是否已存在然后分別走插入或更新邏輯。批量場(chǎng)景下可以先把所有主鍵查出來放到一個(gè)Set里避免逐條查詢數(shù)據(jù)庫(kù)。7.3 導(dǎo)出文件的存儲(chǔ)與清理如果是異步導(dǎo)出生成的文件需要臨時(shí)存儲(chǔ)。我一般會(huì)在服務(wù)器上建一個(gè)臨時(shí)目錄文件名用UUID避免沖突然后設(shè)置一個(gè)定時(shí)任務(wù)定期清理超過24小時(shí)的文件。如果文件比較大還可以考慮壓縮后再提供下載。8. 個(gè)人經(jīng)驗(yàn)總結(jié)做了這么多導(dǎo)出導(dǎo)入的功能我最大的體會(huì)是這個(gè)看似簡(jiǎn)單的需求實(shí)際上考驗(yàn)的是你對(duì)整個(gè)數(shù)據(jù)鏈路的掌控能力。從數(shù)據(jù)庫(kù)查詢、內(nèi)存管理、Excel寫入、HTTP響應(yīng)到異常處理每一個(gè)環(huán)節(jié)都可能出問題。如果讓我給新手一個(gè)建議那就是先用最簡(jiǎn)單的方案把功能跑通然后再根據(jù)實(shí)際的數(shù)據(jù)量和性能要求逐步優(yōu)化。不要一上來就追求完美方案很多時(shí)候業(yè)務(wù)方的數(shù)據(jù)量根本沒那么大過度設(shè)計(jì)反而增加了維護(hù)成本。另外導(dǎo)入功能的錯(cuò)誤提示一定要做得足夠友好。用戶傳了一個(gè)有問題的文件你要告訴他具體是哪一行哪一列出了什么問題而不是拋一個(gè)“系統(tǒng)異?！本屯晔铝?。這一點(diǎn)在實(shí)際項(xiàng)目中得到的正面反饋?zhàn)疃嘁彩亲钊菀妆婚_發(fā)者忽略的地方。最后分享一個(gè)小技巧在導(dǎo)出功能的測(cè)試階段可以用LIMIT子句限制查詢條數(shù)先驗(yàn)證格式和邏輯是否正確確認(rèn)無誤后再去掉限制做全量導(dǎo)出。這樣可以避免每次測(cè)試都等待大量數(shù)據(jù)查詢和寫入的時(shí)間。 Java實(shí)現(xiàn)MySQL到Excel高效導(dǎo)出與導(dǎo)入：POI與EasyExcel實(shí)戰(zhàn)
1. 為什么“數(shù)據(jù)庫(kù)到Excel”這個(gè)需求值得認(rèn)真對(duì)待但凡做過企業(yè)級(jí)應(yīng)用的人幾乎都繞不開一個(gè)場(chǎng)景業(yè)務(wù)方跑過來說“能不能把系統(tǒng)里的數(shù)據(jù)導(dǎo)出來給我我要在Excel里做分析”?；蛘叻催^來“我這邊整理了一份Excel能不能批量導(dǎo)入到系統(tǒng)里”。這個(gè)需求聽起來簡(jiǎn)單得不像個(gè)技術(shù)問題但真正動(dòng)過手的人都知道從MySQL到Excel的導(dǎo)出與導(dǎo)入坑遠(yuǎn)比想象中多。我做過不少類似的項(xiàng)目從最早用JDBC拼字符串生成CSV到后來用POI直接寫xlsx再到用EasyExcel處理百萬行級(jí)別的數(shù)據(jù)每一次都在踩坑中積累經(jīng)驗(yàn)。這篇文章就把我這些年在這個(gè)場(chǎng)景下積累的東西完整梳理一遍從方案選型、核心實(shí)現(xiàn)、性能優(yōu)化到常見問題排查盡量做到你拿著就能用。先說清楚這個(gè)內(nèi)容適合誰看如果你是一個(gè)Java后端開發(fā)者手頭有MySQL數(shù)據(jù)庫(kù)需要實(shí)現(xiàn)數(shù)據(jù)的Excel導(dǎo)出和導(dǎo)入功能不管你是剛?cè)胄械男率诌€是有一定經(jīng)驗(yàn)的工程師這篇文章都能給你提供可直接參考的方案。我會(huì)從最基礎(chǔ)的實(shí)現(xiàn)講起逐步深入到性能優(yōu)化和異常處理中間會(huì)穿插大量實(shí)際項(xiàng)目中總結(jié)的經(jīng)驗(yàn)和注意事項(xiàng)。核心關(guān)鍵詞就幾個(gè)Java、MySQL、Excel、導(dǎo)出、導(dǎo)入、Apache POI、EasyExcel。這些詞會(huì)貫穿全文但我不會(huì)為了堆砌而堆砌每個(gè)技術(shù)點(diǎn)的出現(xiàn)都是因?yàn)閷?shí)際需要。2. 方案選型用什么庫(kù)、走什么路線2.1 主流Excel處理庫(kù)對(duì)比Java生態(tài)里處理Excel的庫(kù)不算多主流的就是那么幾個(gè)。我整理了一個(gè)對(duì)比表格方便你根據(jù)自己項(xiàng)目的實(shí)際情況做選擇庫(kù)名稱優(yōu)勢(shì)劣勢(shì)適用場(chǎng)景Apache POI功能最全支持xls和xlsx社區(qū)成熟API偏底層代碼量大內(nèi)存占用高復(fù)雜格式、圖表、公式等高級(jí)需求EasyExcelAPI簡(jiǎn)潔內(nèi)存占用低適合大數(shù)據(jù)量功能相對(duì)POI少一些復(fù)雜格式支持有限大數(shù)據(jù)量導(dǎo)入導(dǎo)出格式要求不極端JXL輕量API簡(jiǎn)單只支持xls已停止維護(hù)老項(xiàng)目維護(hù)新項(xiàng)目不推薦CSV方案極簡(jiǎn)無依賴性能最好不支持格式、多sheet編碼問題多純數(shù)據(jù)交換無格式要求我個(gè)人的選擇邏輯是這樣的如果數(shù)據(jù)量在10萬行以內(nèi)格式要求不高直接用EasyExcel如果數(shù)據(jù)量超過50萬行優(yōu)先考慮EasyExcel的流式處理或者CSV方案如果業(yè)務(wù)方要求復(fù)雜的表頭合并、單元格樣式、公式計(jì)算那就老老實(shí)實(shí)用Apache POI。這里要特別說一個(gè)誤區(qū)很多人覺得POI性能差就完全不用其實(shí)POI的SXSSF模式流式寫入在處理大數(shù)據(jù)量時(shí)表現(xiàn)也不差只是API用起來確實(shí)比EasyExcel啰嗦不少。2.2 導(dǎo)出方案的核心考量導(dǎo)出這個(gè)方向核心要解決的問題就三個(gè)數(shù)據(jù)量、格式要求、響應(yīng)方式。數(shù)據(jù)量決定了你用哪種寫入模式。POI的XSSF模式是把整個(gè)工作簿放在內(nèi)存里10萬行以上就可能OOMSXSSF模式是流式寫入只在內(nèi)存里保留一定行數(shù)默認(rèn)100行適合百萬級(jí)數(shù)據(jù)。EasyExcel底層也是基于流式寫入的思路但封裝得更好用。格式要求決定了你選哪個(gè)庫(kù)。如果只是簡(jiǎn)單的表頭加數(shù)據(jù)行EasyExcel足夠如果需要合并單元格、設(shè)置條件格式、插入圖片那POI是唯一選擇。響應(yīng)方式?jīng)Q定了你的接口設(shè)計(jì)。如果是同步導(dǎo)出用戶點(diǎn)擊按鈕后等待文件生成然后下載那要注意HTTP超時(shí)和內(nèi)存控制如果是異步導(dǎo)出生成文件后存到文件服務(wù)器再通知用戶下載那要考慮文件清理和并發(fā)控制。2.3 導(dǎo)入方案的核心考量導(dǎo)入比導(dǎo)出更復(fù)雜因?yàn)槟阋幚碛脩糨斎氲牟淮_定性。用戶可能傳一個(gè)空文件、可能傳一個(gè)格式不對(duì)的文件、可能傳一個(gè)列順序亂掉的文件、可能傳一個(gè)包含非法字符的文件。導(dǎo)入功能的核心不是“讀Excel”而是“校驗(yàn)和容錯(cuò)”。我的經(jīng)驗(yàn)是導(dǎo)入功能至少要考慮以下幾層校驗(yàn)文件格式校驗(yàn)是不是xlsx/xls、文件大小校驗(yàn)防止惡意大文件、表頭校驗(yàn)列名和順序是否匹配、數(shù)據(jù)類型校驗(yàn)數(shù)字列是不是數(shù)字、業(yè)務(wù)規(guī)則校驗(yàn)必填項(xiàng)、唯一性、關(guān)聯(lián)關(guān)系。每一層校驗(yàn)都要給用戶明確的錯(cuò)誤提示最好能定位到具體是哪一行哪一列出了問題。3. 從MySQL導(dǎo)出到Excel的完整實(shí)現(xiàn)3.1 環(huán)境準(zhǔn)備與依賴引入先假設(shè)你用的是Maven項(xiàng)目需要引入的依賴如下。這里我同時(shí)給出POI和EasyExcel的依賴你可以根據(jù)實(shí)際選型決定用哪個(gè)!-- Apache POI 核心依賴 -- dependency groupIdorg.apache.poi/groupId artifactIdpoi/artifactId version5.2.3/version /dependency dependency groupIdorg.apache.poi/groupId artifactIdpoi-ooxml/artifactId version5.2.3/version /dependency !-- EasyExcel 依賴 -- dependency groupIdcom.alibaba/groupId artifactIdeasyexcel/artifactId version3.3.2/version /dependency !-- MySQL 驅(qū)動(dòng) -- dependency groupIdmysql/groupId artifactIdmysql-connector-java/artifactId version8.0.33/version /dependency注意POI 5.x版本和4.x版本在API上有一些差異網(wǎng)上很多老教程用的是4.x的寫法直接復(fù)制可能會(huì)編譯報(bào)錯(cuò)。建議統(tǒng)一用5.x版本API更穩(wěn)定。數(shù)據(jù)庫(kù)連接池我推薦用HikariCPSpring Boot項(xiàng)目默認(rèn)就是它這里不展開。關(guān)鍵是要確保你的數(shù)據(jù)源配置里fetchSize設(shè)置合理導(dǎo)出大數(shù)據(jù)量時(shí)這個(gè)參數(shù)直接影響內(nèi)存占用。3.2 基于POI的導(dǎo)出實(shí)現(xiàn)先看一個(gè)最基礎(chǔ)的POI導(dǎo)出實(shí)現(xiàn)把MySQL中的一張表導(dǎo)出為xlsx文件。假設(shè)我們有一張用戶表字段包括id、name、email、create_timepublic void exportWithPoi(Connection conn, String outputPath) throws Exception { String sql SELECT id, name, email, create_time FROM user; try (PreparedStatement ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY)) { // 關(guān)鍵設(shè)置流式讀取結(jié)果集避免一次性加載所有數(shù)據(jù)到內(nèi)存 ps.setFetchSize(Integer.MIN_VALUE); // MySQL驅(qū)動(dòng)需要設(shè)置為流式模式 ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); ps.setFetchSize(Integer.MIN_VALUE); try (ResultSet rs ps.executeQuery(); SXSSFWorkbook workbook new SXSSFWorkbook(100)) { // 內(nèi)存中保留100行 Sheet sheet workbook.createSheet(用戶數(shù)據(jù)); // 創(chuàng)建表頭 Row headerRow sheet.createRow(0); String[] headers {ID, 姓名, 郵箱, 創(chuàng)建時(shí)間}; for (int i 0; i headers.length; i) { Cell cell headerRow.createCell(i); cell.setCellValue(headers[i]); } // 填充數(shù)據(jù) int rowIndex 1; while (rs.next()) { Row row sheet.createRow(rowIndex); row.createCell(0).setCellValue(rs.getLong(id)); row.createCell(1).setCellValue(rs.getString(name)); row.createCell(2).setCellValue(rs.getString(email)); Timestamp ts rs.getTimestamp(create_time); if (ts ! null) { row.createCell(3).setCellValue( new SimpleDateFormat(yyyy-MM-dd HH:mm:ss).format(ts)); } } // 寫入文件 try (FileOutputStream fos new FileOutputStream(outputPath)) { workbook.write(fos); } // 清理臨時(shí)文件 workbook.dispose(); } } }這段代碼有幾個(gè)關(guān)鍵點(diǎn)需要解釋。第一SXSSFWorkbook的構(gòu)造參數(shù)100表示內(nèi)存中只保留100行數(shù)據(jù)超出的部分會(huì)寫入臨時(shí)文件這樣即使導(dǎo)出100萬行也不會(huì)OOM。第二ps.setFetchSize(Integer.MIN_VALUE)是MySQL驅(qū)動(dòng)特有的流式讀取設(shè)置不加這個(gè)的話驅(qū)動(dòng)會(huì)一次性把所有結(jié)果集加載到內(nèi)存數(shù)據(jù)量大時(shí)同樣會(huì)OOM。第三workbook.dispose()一定要調(diào)用否則臨時(shí)文件不會(huì)被清理磁盤空間會(huì)被慢慢吃掉。3.3 基于EasyExcel的導(dǎo)出實(shí)現(xiàn)同樣的需求用EasyExcel來實(shí)現(xiàn)會(huì)簡(jiǎn)潔很多。先定義一個(gè)數(shù)據(jù)對(duì)象Data public class UserExcelDTO { ExcelProperty(ID) private Long id; ExcelProperty(姓名) private String name; ExcelProperty(郵箱) private String email; ExcelProperty(創(chuàng)建時(shí)間) DateTimeFormat(yyyy-MM-dd HH:mm:ss) private Date createTime; }然后導(dǎo)出邏輯public void exportWithEasyExcel(Connection conn, String outputPath) throws Exception { String sql SELECT id, name, email, create_time FROM user; try (PreparedStatement ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY)) { ps.setFetchSize(Integer.MIN_VALUE); try (ResultSet rs ps.executeQuery()) { // 構(gòu)建數(shù)據(jù)列表實(shí)際項(xiàng)目中建議分批查詢避免一次性加載 ListUserExcelDTO dataList new ArrayList(); while (rs.next()) { UserExcelDTO dto new UserExcelDTO(); dto.setId(rs.getLong(id)); dto.setName(rs.getString(name)); dto.setEmail(rs.getString(email)); dto.setCreateTime(rs.getTimestamp(create_time)); dataList.add(dto); } EasyExcel.write(outputPath, UserExcelDTO.class) .sheet(用戶數(shù)據(jù)) .doWrite(dataList); } } }EasyExcel的代碼量明顯少很多而且ExcelProperty注解直接定義了表頭DateTimeFormat處理了日期格式化非常直觀。但要注意上面這種寫法是把所有數(shù)據(jù)先加載到List里再寫入數(shù)據(jù)量特別大時(shí)內(nèi)存會(huì)有壓力。EasyExcel也支持分批寫入后面性能優(yōu)化部分會(huì)講。3.4 導(dǎo)出功能的接口設(shè)計(jì)實(shí)際項(xiàng)目中導(dǎo)出通常是一個(gè)HTTP接口。這里給出一個(gè)Spring Boot的Controller示例GetMapping(/export/users) public void exportUsers(HttpServletResponse response) throws IOException { response.setContentType(application/vnd.openxmlformats-officedocument.spreadsheetml.sheet); response.setCharacterEncoding(utf-8); String fileName URLEncoder.encode(用戶數(shù)據(jù), UTF-8).replaceAll(\\, %20); response.setHeader(Content-Disposition, attachment;filename*utf-8 fileName .xlsx); // 使用EasyExcel直接寫入response的輸出流 EasyExcel.write(response.getOutputStream(), UserExcelDTO.class) .sheet(用戶數(shù)據(jù)) .doWrite(queryUserList()); }提示文件名一定要做URL編碼否則中文文件名在部分瀏覽器上會(huì)亂碼。filename*utf-8這種寫法是RFC 5987規(guī)定的兼容性最好。4. 從Excel導(dǎo)入到MySQL的完整實(shí)現(xiàn)4.1 導(dǎo)入功能的設(shè)計(jì)思路導(dǎo)入功能我一般會(huì)拆成三個(gè)階段解析階段、校驗(yàn)階段、入庫(kù)階段。解析階段負(fù)責(zé)把Excel文件讀成Java對(duì)象列表校驗(yàn)階段負(fù)責(zé)檢查數(shù)據(jù)的合法性入庫(kù)階段負(fù)責(zé)批量寫入數(shù)據(jù)庫(kù)。這三個(gè)階段分開的好處是每個(gè)階段都可以獨(dú)立處理異常給用戶精確的錯(cuò)誤反饋。解析階段用EasyExcel的監(jiān)聽器模式是最合適的因?yàn)樗С种鹦凶x取不需要一次性加載整個(gè)文件。校驗(yàn)階段可以定義一個(gè)校驗(yàn)器接口針對(duì)不同的業(yè)務(wù)規(guī)則實(shí)現(xiàn)不同的校驗(yàn)邏輯。入庫(kù)階段用JDBC的批量插入配合事務(wù)控制。4.2 基于EasyExcel的導(dǎo)入實(shí)現(xiàn)先定義一個(gè)導(dǎo)入用的監(jiān)聽器public class UserImportListener extends AnalysisEventListenerUserExcelDTO { private static final int BATCH_SIZE 500; private ListUserExcelDTO batchList new ArrayList(BATCH_SIZE); private ListString errorMessages new ArrayList(); private int rowIndex 1; // 從第2行開始是數(shù)據(jù)第1行是表頭 private UserService userService; public UserImportListener(UserService userService) { this.userService userService; } Override public void invoke(UserExcelDTO data, AnalysisContext context) { rowIndex; // 單行校驗(yàn) String error validateRow(data); if (error ! null) { errorMessages.add(第 rowIndex 行 error); return; } batchList.add(data); // 達(dá)到批次大小就入庫(kù) if (batchList.size() BATCH_SIZE) { saveBatch(); } } Override public void doAfterAllAnalysed(AnalysisContext context) { // 處理最后一批 if (!batchList.isEmpty()) { saveBatch(); } } private void saveBatch() { try { userService.batchInsert(batchList); } catch (Exception e) { errorMessages.add(批次入庫(kù)失敗 e.getMessage()); } batchList.clear(); } private String validateRow(UserExcelDTO data) { if (data.getName() null || data.getName().trim().isEmpty()) { return 姓名不能為空; } if (data.getEmail() null || !data.getEmail().matches(^[\\w.-][\\w.-]\\.[a-zA-Z]{2,}$)) { return 郵箱格式不正確; } return null; } public ListString getErrorMessages() { return errorMessages; } }調(diào)用方式public ImportResult importUsers(MultipartFile file) throws IOException { UserImportListener listener new UserImportListener(userService); EasyExcel.read(file.getInputStream(), UserExcelDTO.class, listener) .sheet() .doRead(); ImportResult result new ImportResult(); result.setSuccessCount(/* 成功條數(shù) */); result.setErrorMessages(listener.getErrorMessages()); return result; }這個(gè)實(shí)現(xiàn)有幾個(gè)值得注意的地方。第一BATCH_SIZE設(shè)為500是一個(gè)經(jīng)驗(yàn)值太小會(huì)導(dǎo)致頻繁的數(shù)據(jù)庫(kù)交互太大會(huì)占用過多內(nèi)存500到1000之間比較合適。第二錯(cuò)誤信息記錄了具體的行號(hào)用戶拿到反饋后可以直接定位到Excel中的問題行。第三doAfterAllAnalysed方法里處理最后一批數(shù)據(jù)這個(gè)容易被遺漏。4.3 批量入庫(kù)的SQL優(yōu)化批量插入的性能差異非常大我做過測(cè)試逐條插入和批量插入在1萬條數(shù)據(jù)上的耗時(shí)差距可以達(dá)到幾十倍。下面是批量插入的示例public void batchInsert(ListUserExcelDTO list) { String sql INSERT INTO user (name, email, create_time) VALUES (?, ?, ?); try (Connection conn dataSource.getConnection(); PreparedStatement ps conn.prepareStatement(sql)) { conn.setAutoCommit(false); for (UserExcelDTO dto : list) { ps.setString(1, dto.getName()); ps.setString(2, dto.getEmail()); ps.setTimestamp(3, new Timestamp(dto.getCreateTime().getTime())); ps.addBatch(); } ps.executeBatch(); conn.commit(); } catch (SQLException e) { // 異常處理 } }注意MySQL的JDBC連接URL上要加上rewriteBatchedStatementstrue參數(shù)否則addBatch()和executeBatch()不會(huì)真正合并成一條SQL性能提升非常有限。這個(gè)參數(shù)是MySQL驅(qū)動(dòng)特有的優(yōu)化開關(guān)很多人不知道。4.4 導(dǎo)入功能的容錯(cuò)設(shè)計(jì)導(dǎo)入功能最怕的就是用戶傳了一個(gè)亂七八糟的文件然后系統(tǒng)拋出一堆看不懂的異常。我的做法是在解析之前先做一輪文件級(jí)別的校驗(yàn)public void validateFile(MultipartFile file) { if (file.isEmpty()) { throw new BusinessException(文件不能為空); } String fileName file.getOriginalFilename(); if (fileName null || (!fileName.endsWith(.xlsx) !fileName.endsWith(.xls))) { throw new BusinessException(只支持xlsx和xls格式的文件); } if (file.getSize() 10 * 1024 * 1024) { throw new BusinessException(文件大小不能超過10MB); } }然后在解析過程中對(duì)于格式錯(cuò)誤、類型轉(zhuǎn)換失敗等異常EasyExcel會(huì)拋出ExcelAnalysisException需要捕獲并轉(zhuǎn)換成用戶能理解的提示。我一般會(huì)自定義一個(gè)異常處理器EasyExcel.read(inputStream, UserExcelDTO.class, listener) .registerConverter(new CustomStringConverter()) .sheet() .doRead();自定義Converter可以處理一些特殊的數(shù)據(jù)轉(zhuǎn)換場(chǎng)景比如把Excel中的“是/否”轉(zhuǎn)換成Java的Boolean或者把“2024/1/1”這種非標(biāo)準(zhǔn)日期格式解析成Date對(duì)象。5. 性能優(yōu)化與大數(shù)據(jù)量處理5.1 導(dǎo)出性能優(yōu)化的幾個(gè)關(guān)鍵點(diǎn)大數(shù)據(jù)量導(dǎo)出核心就一個(gè)字流。從數(shù)據(jù)庫(kù)查詢到Excel寫入整條鏈路都要做到流式處理不能在任何環(huán)節(jié)把全量數(shù)據(jù)加載到內(nèi)存。數(shù)據(jù)庫(kù)層面前面提到的setFetchSize(Integer.MIN_VALUE)是必須的。但這里有個(gè)坑MySQL驅(qū)動(dòng)在流式讀取模式下同一個(gè)連接不能同時(shí)執(zhí)行其他查詢否則會(huì)報(bào)“Streaming result set is still active”的錯(cuò)誤。所以導(dǎo)出操作最好使用獨(dú)立的數(shù)據(jù)庫(kù)連接不要和業(yè)務(wù)查詢共用。Excel寫入層面POI的SXSSF模式已經(jīng)做了流式處理但要注意SXSSFWorkbook的構(gòu)造參數(shù)不要設(shè)得太大100到1000之間比較合適。設(shè)得太大內(nèi)存占用高設(shè)得太小臨時(shí)文件IO頻繁。還有一個(gè)容易被忽略的點(diǎn)是單元格樣式的創(chuàng)建。POI中每創(chuàng)建一個(gè)CellStyle都會(huì)占用內(nèi)存如果每行都創(chuàng)建新樣式數(shù)據(jù)量大時(shí)內(nèi)存會(huì)暴漲。正確的做法是把樣式創(chuàng)建在循環(huán)外面所有行復(fù)用同一個(gè)樣式對(duì)象CellStyle style workbook.createCellStyle(); Font font workbook.createFont(); font.setBold(true); style.setFont(font); // 在循環(huán)外面創(chuàng)建循環(huán)里面復(fù)用 for (int i 0; i headers.length; i) { Cell cell headerRow.createCell(i); cell.setCellValue(headers[i]); cell.setCellStyle(style); // 復(fù)用樣式 }5.2 導(dǎo)入性能優(yōu)化的幾個(gè)關(guān)鍵點(diǎn)導(dǎo)入的性能瓶頸通常在數(shù)據(jù)庫(kù)寫入上。除了前面說的批量插入和rewriteBatchedStatementstrue還有幾個(gè)優(yōu)化點(diǎn)第一關(guān)閉自動(dòng)提交。每次executeBatch()之前手動(dòng)setAutoCommit(false)批量執(zhí)行完再commit()可以減少事務(wù)開銷。第二合理設(shè)置批次大小。我實(shí)測(cè)下來500到1000條一批比較均衡。批次太小數(shù)據(jù)庫(kù)交互頻繁批次太大內(nèi)存占用高且單次事務(wù)時(shí)間長(zhǎng)。第三使用多線程解析。EasyExcel支持多線程讀取但要注意線程安全問題。如果業(yè)務(wù)允許可以把Excel按行拆分成多個(gè)片段用線程池并行解析和入庫(kù)。不過這個(gè)方案實(shí)現(xiàn)復(fù)雜度較高數(shù)據(jù)量不是特別大的話沒必要。第四數(shù)據(jù)庫(kù)連接池配置。導(dǎo)入操作會(huì)占用數(shù)據(jù)庫(kù)連接較長(zhǎng)時(shí)間連接池的maxPoolSize要設(shè)置合理避免導(dǎo)入操作把連接池占滿導(dǎo)致其他業(yè)務(wù)請(qǐng)求無法處理。5.3 內(nèi)存監(jiān)控與OOM預(yù)防大數(shù)據(jù)量導(dǎo)出最容易出的問題就是OOM。除了用流式處理還建議在代碼里加一些內(nèi)存監(jiān)控的邏輯Runtime runtime Runtime.getRuntime(); long usedMemory runtime.totalMemory() - runtime.freeMemory(); if (usedMemory runtime.maxMemory() * 0.8) { // 內(nèi)存使用超過80%觸發(fā)GC或者暫停處理 System.gc(); // 如果還是高考慮分批處理或者拋出提示 }當(dāng)然System.gc()只是建議JVM執(zhí)行GC不保證立即執(zhí)行。更可靠的做法是在JVM啟動(dòng)參數(shù)里設(shè)置合理的堆大小和GC策略比如-Xmx2g -Xms2g -XX:UseG1GC。6. 常見問題與排查技巧實(shí)錄6.1 導(dǎo)出常見問題速查表問題現(xiàn)象可能原因解決方案導(dǎo)出文件打不開提示損壞輸出流未正確關(guān)閉或?qū)懭氩煌暾_保workbook.write()后正確關(guān)閉流使用try-with-resources中文文件名亂碼未做URL編碼使用URLEncoder.encode()并設(shè)置正確的Content-Disposition導(dǎo)出數(shù)據(jù)量大了就OOM使用了XSSFWorkbook或未設(shè)置fetchSize改用SXSSFWorkbook設(shè)置setFetchSize(Integer.MIN_VALUE)日期格式不對(duì)未設(shè)置日期格式或時(shí)區(qū)問題使用DateTimeFormat注解或手動(dòng)SimpleDateFormat導(dǎo)出速度特別慢逐條查詢數(shù)據(jù)庫(kù)或頻繁創(chuàng)建樣式批量查詢樣式復(fù)用使用流式寫入數(shù)字變成了科學(xué)計(jì)數(shù)法Excel自動(dòng)格式化設(shè)置單元格格式為文本或使用BigDecimal并設(shè)置DataFormat6.2 導(dǎo)入常見問題速查表問題現(xiàn)象可能原因解決方案讀取不到數(shù)據(jù)表頭行號(hào)設(shè)置錯(cuò)誤檢查headRowNumber參數(shù)默認(rèn)是1日期解析失敗Excel中的日期格式不標(biāo)準(zhǔn)自定義Converter處理多種日期格式數(shù)字精度丟失Excel中數(shù)字被存為double使用String接收再轉(zhuǎn)換或使用BigDecimal批量插入慢未開啟rewriteBatchedStatementsJDBC URL添加該參數(shù)部分?jǐn)?shù)據(jù)入庫(kù)失敗未做事務(wù)控制使用事務(wù)失敗時(shí)回滾或記錄錯(cuò)誤行內(nèi)存溢出一次性讀取所有數(shù)據(jù)使用監(jiān)聽器模式逐行讀取分批入庫(kù)6.3 幾個(gè)我踩過的坑第一個(gè)坑MySQL流式讀取的副作用。前面提到setFetchSize(Integer.MIN_VALUE)可以實(shí)現(xiàn)流式讀取但很多人不知道的是在流式讀取模式下如果結(jié)果集沒有讀完就關(guān)閉了StatementMySQL驅(qū)動(dòng)會(huì)拋出異常。所以一定要確保ResultSet被完整遍歷或者正確關(guān)閉。第二個(gè)坑EasyExcel的并發(fā)寫入問題。EasyExcel的doWrite()方法不是線程安全的如果多個(gè)線程同時(shí)往同一個(gè)文件寫入會(huì)出現(xiàn)數(shù)據(jù)錯(cuò)亂。如果確實(shí)需要并發(fā)導(dǎo)出每個(gè)線程應(yīng)該寫入不同的文件最后再合并。第三個(gè)坑Excel的單元格類型判斷。用POI讀取Excel時(shí)cell.getCellType()返回的類型可能和預(yù)期不一致。比如用戶輸入的數(shù)字“123”Excel可能存為NUMERIC類型也可能存為STRING類型。穩(wěn)妥的做法是用DataFormatter來統(tǒng)一處理DataFormatter formatter new DataFormatter(); String value formatter.formatCellValue(cell);第四個(gè)坑大文件導(dǎo)入時(shí)的超時(shí)問題。如果導(dǎo)入的文件很大HTTP請(qǐng)求可能會(huì)超時(shí)。解決方案是把導(dǎo)入操作改成異步的用戶上傳文件后立即返回一個(gè)任務(wù)ID后臺(tái)異步處理用戶通過任務(wù)ID查詢進(jìn)度和結(jié)果。第五個(gè)坑Excel中的空行處理。用戶可能在數(shù)據(jù)末尾留了很多空行EasyExcel默認(rèn)會(huì)跳過完全空白的行但如果空行中有格式比如邊框就可能被當(dāng)成有效數(shù)據(jù)。建議在監(jiān)聽器的invoke()方法里加一個(gè)判斷如果所有字段都為空就跳過。7. 一些進(jìn)階思路與擴(kuò)展方向7.1 動(dòng)態(tài)表頭與多Sheet導(dǎo)出實(shí)際項(xiàng)目中經(jīng)常遇到需要?jiǎng)討B(tài)生成表頭的場(chǎng)景比如用戶可以選擇導(dǎo)出哪些字段。EasyExcel支持動(dòng)態(tài)表頭ListListString head new ArrayList(); head.add(Collections.singletonList(ID)); head.add(Collections.singletonList(姓名)); // 根據(jù)用戶選擇動(dòng)態(tài)添加 EasyExcel.write(outputPath) .head(head) .sheet(數(shù)據(jù)) .doWrite(dataList);多Sheet導(dǎo)出也很簡(jiǎn)單多次調(diào)用sheet()方法即可ExcelWriter writer EasyExcel.write(outputPath).build(); WriteSheet sheet1 EasyExcel.writerSheet(0, 用戶數(shù)據(jù)).head(UserExcelDTO.class).build(); WriteSheet sheet2 EasyExcel.writerSheet(1, 訂單數(shù)據(jù)).head(OrderExcelDTO.class).build(); writer.write(userList, sheet1); writer.write(orderList, sheet2); writer.finish();7.2 導(dǎo)入時(shí)的數(shù)據(jù)去重與更新策略導(dǎo)入數(shù)據(jù)時(shí)經(jīng)常需要處理“已存在的數(shù)據(jù)是更新還是跳過”的問題。我的做法是在校驗(yàn)階段查詢數(shù)據(jù)庫(kù)根據(jù)業(yè)務(wù)主鍵判斷數(shù)據(jù)是否已存在然后分別走插入或更新邏輯。批量場(chǎng)景下可以先把所有主鍵查出來放到一個(gè)Set里避免逐條查詢數(shù)據(jù)庫(kù)。7.3 導(dǎo)出文件的存儲(chǔ)與清理如果是異步導(dǎo)出生成的文件需要臨時(shí)存儲(chǔ)。我一般會(huì)在服務(wù)器上建一個(gè)臨時(shí)目錄文件名用UUID避免沖突然后設(shè)置一個(gè)定時(shí)任務(wù)定期清理超過24小時(shí)的文件。如果文件比較大還可以考慮壓縮后再提供下載。8. 個(gè)人經(jīng)驗(yàn)總結(jié)做了這么多導(dǎo)出導(dǎo)入的功能我最大的體會(huì)是這個(gè)看似簡(jiǎn)單的需求實(shí)際上考驗(yàn)的是你對(duì)整個(gè)數(shù)據(jù)鏈路的掌控能力。從數(shù)據(jù)庫(kù)查詢、內(nèi)存管理、Excel寫入、HTTP響應(yīng)到異常處理每一個(gè)環(huán)節(jié)都可能出問題。如果讓我給新手一個(gè)建議那就是先用最簡(jiǎn)單的方案把功能跑通然后再根據(jù)實(shí)際的數(shù)據(jù)量和性能要求逐步優(yōu)化。不要一上來就追求完美方案很多時(shí)候業(yè)務(wù)方的數(shù)據(jù)量根本沒那么大過度設(shè)計(jì)反而增加了維護(hù)成本。另外導(dǎo)入功能的錯(cuò)誤提示一定要做得足夠友好。用戶傳了一個(gè)有問題的文件你要告訴他具體是哪一行哪一列出了什么問題而不是拋一個(gè)“系統(tǒng)異?！本屯晔铝?。這一點(diǎn)在實(shí)際項(xiàng)目中得到的正面反饋?zhàn)疃嘁彩亲钊菀妆婚_發(fā)者忽略的地方。最后分享一個(gè)小技巧在導(dǎo)出功能的測(cè)試階段可以用LIMIT子句限制查詢條數(shù)先驗(yàn)證格式和邏輯是否正確確認(rèn)無誤后再去掉限制做全量導(dǎo)出。這樣可以避免每次測(cè)試都等待大量數(shù)據(jù)查詢和寫入的時(shí)間。