基于 Apache POI 实现高德 POI 分类数据导入 PostgreSQL

二、从 Excel 导入到 PostgreSQL

本节详细介绍在 Java 中使用 Apache POI 实现从 Excel 中解析到存储至 PostgreSQL 中，主要包含结合 POI 分类的规则进行分类解析，以及基于 Mybatis 实现程序的批量入库。

1、Excel 解析流程

为了防止各层级在构建时出现重复的情况，这里采用 LinkedHashMap 集合来进行重复判断，将分类编码作为 map 的 key，而具体分类对象作为 value。

定义 JavaBean 来读取数据：

package com.example.poi.domain;

import java.io.Serializable;
import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;

@Data
@AllArgsConstructor
@NoArgsConstructor
public class AmapPoiCategoryExcelVO implements Serializable {
    private static final long serialVersionUID = 2795552725033725828L;
    private String poiType;
    private String bigCategory;
    private String midCategory;
    private String subCategory;
    private String bigCategoryEn;
    private String midCategoryEn;
    private String subCategoryEn;
}

核心代码如下：

File file = new File(AMAP_POI_FILE);
FileInputStream fis = new FileInputStream(file);
// ExcelUtil util = new ExcelUtil<>(AmapPoiCategoryExcelVO.class);
// List<AmapPoiCategoryExcelVO> dataList = util.importExcel(fis);
LinkedHashMap<String, PoiCategory> amapPoiTypeMap = new LinkedHashMap<>();
for (AmapPoiCategoryExcelVO poiCategory : dataList) {
    String type = poiCategory.getPoiType();
    String bigCategory = poiCategory.getBigCategory();
    String midCategory = poiCategory.getMidCategory();
    String subCategory = poiCategory.getSubCategory();
    String bigCategoryEn = poiCategory.getBigCategoryEn();
    String midCategoryEn = poiCategory.getMidCategoryEn();
    String subCategoryEn = poiCategory.getSubCategoryEn();
    String bigCategorySno = type.substring(0, 2);
    String midCategorySno = type.substring(0, 4);
    if (!amapPoiTypeMap.containsKey(bigCategorySno)) {
        PoiCategory category = new PoiCategory(UUID.randomUUID().toString(), 101L, "0,100,101", bigCategory, bigCategoryEn, bigCategorySno);
        amapPoiTypeMap.put(bigCategorySno, category);
    }
    if (!amapPoiTypeMap.containsKey(midCategorySno)) {
        String parentKey = midCategorySno.substring(0, 2);
        PoiCategory parentCategory = amapPoiTypeMap.get(parentKey);
        String ancestors = parentCategory.getAncestors() + "," + parentCategory.getPkId();
        PoiCategory category = new PoiCategory(UUID.randomUUID().toString(), parentCategory.getPkId(), ancestors, midCategory, midCategoryEn, midCategorySno);
        amapPoiTypeMap.put(midCategorySno, category);
    }
    if (!amapPoiTypeMap.containsKey(type)) {
        String parentKey = midCategorySno.substring(0, 4);
        PoiCategory parentCategory = amapPoiTypeMap.get(parentKey);
        String ancestors = parentCategory.getAncestors() + "," + parentCategory.getPkId();
        PoiCategory category = new PoiCategory(UUID.randomUUID().toString(), parentCategory.getPkId(), ancestors, subCategory, subCategoryEn, type);
        amapPoiTypeMap.put(type, category);
    }
}

2、Mybatis 批量导入

基于 Mybatis 的批量导入，在 Mapper.xml 文件中定义以下内容：

<insert parameterType="java.util.List">
  insert into biz_poi_category ( pk_id,parent_id,category_name,ancestors,order_num,origin_code,category_english_name,platform,status,del_flag,create_time)
  values
  <foreach collection="list" item="item" separator=",">
    ( #{item.pkId},#{item.parentId},#{item.categoryName},#{item.ancestors}, #{item.orderNum},#{item.originCode},#{item.categoryEnglishName},#{item.platform},#{item.status},#{item.delFlag}, now() )
  </foreach>
</insert>

业务层调用示例：

@Override
public void batchInsertPoiCategory(List<PoiCategory> list) {
    this.poiCategoryMapper.batchInsertPoiCategory(list);
}

3、数据入库

在数据入库之前，需要统一设置数据来源，如标记高德，设置删除标记、数据业务状态、数据创建时间等。

List<PoiCategory> categoryData = new ArrayList<>();
for (PoiCategory value : amapPoiTypeMap.values()) {
    value.setPlatform("gaode");
    value.setDelFlag(0);
    value.setStatus(0);
    value.setOrderNum(1);
    value.setCreateTime(new Date());
    categoryData.add(value);
}
poiCateGoryService.batchInsertPoiCategory(categoryData);
System.out.println("finished...");

完成以上操作后，即可完成高德 POI 分类数据的 PostgreSQL 数据库导入操作。

三、总结

本文实现了基于 Apache POI 的高德 POI 分类数据导入处理操作，通过解析 Excel 中的分类信息并构建层级树，利用 MyBatis 批量插入至 PostgreSQL 数据库，提升了数据导入效率。