基于 DJL 与 PaddlePaddle 的菜品图像识别实现

三、核心代码实现

1. 定义模型推理工具类

创建 DishesClassification 类，封装模型加载、预测及后处理逻辑。该类负责管理 Predictor 生命周期并执行 Softmax 计算。

package com.dish.utils;

import ai.djl.ModelException;
import ai.djl.inference.Predictor;
import ai.djl.modality.Classifications;
import ai.djl.modality.cv.Image;
import ai.djl.repository.zoo.Criteria;
import ai.djl.repository.zoo.ModelZoo;
import ai.djl.repository.zoo.ZooModel;
import ai.djl.training.util.ProgressBar;
import ai.djl.translate.TranslateException;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.IOException;
import java.nio.file.Paths;
import java.util.ArrayList;
import java.util.List;

public final class DishesClassification {

    private static final Logger logger = LoggerFactory.getLogger(DishesClassification.class);

    private DishesClassification() {}

    /**
     * 图像预测主入口
     * @param img 输入图像对象
     * @return 分类结果列表
     */
    public static Classifications predict(Image img) throws IOException, ModelException, TranslateException {
        // 获取初步分类结果
        Classifications classifications = classifier(img);
        
        // 后处理：Softmax 归一化
        List<Classifications.Classification> items = classifications.items();
        double[] probArr = new double[items.size()];
        double max = 0;
        
        // 找出最大概率值用于数值稳定性
        for (Classifications.Classification item : items) {
            double prob = item.getProbability();
            probArr[items.indexOf(item)] = prob;
            if (prob > max) max = prob;
        }

        // 计算 exp(x - max) 防止溢出
        double sum = 0;
        for (int i = 0; i < probArr.length; i++) {
            probArr[i] = Math.exp(probArr[i] - max);
            sum += probArr[i];
        }

        // 归一化并构建新结果
        List<String> names = new ArrayList<>();
        List<Double> probs = new ArrayList<>();
        for (int i = 0; i < items.size(); i++) {
            Classifications.Classification item = items.get(i);
            names.add(item.getClassName());
            probs.add(probArr[i] / sum);
        }

        return new Classifications(names, probs);
    }

    /**
     * 模型加载与推理核心方法
     */
    public static Classifications classifier(Image img) throws IOException, ModelException, TranslateException {
        Criteria<Image, Classifications> criteria = Criteria.builder()
                .optEngine("PaddlePaddle")
                .setTypes(Image.class, Classifications.class)
                .optModelPath(Paths.get("models/dishes.zip"))
                .optModelName("inference")
                .optTranslator(new DishTranslator())
                .optProgress(new ProgressBar())
                .build();

        try (ZooModel model = ModelZoo.loadModel(criteria)) {
            try (Predictor<Image, Classifications> predictor = model.newPredictor()) {
                return predictor.predict(img);
            }
        }
    }
}

2. 翻译器实现 (DishTranslator)

虽然示例中未展示完整代码，但实际运行需要实现 Translator 接口以处理图像预处理（如调整大小、归一化）。通常 DJL 的 ImageClassifierTranslator 可复用。

3. 测试入口

编写 main 方法加载本地图片并打印识别结果。

package com.dish;

import ai.djl.ModelException;
import ai.djl.modality.Classifications;
import ai.djl.modality.cv.Image;
import ai.djl.modality.cv.ImageFactory;
import ai.djl.translate.TranslateException;
import com.dish.utils.DishesClassification;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.IOException;
import java.nio.file.Paths;

public final class Main {

    private static final Logger logger = LoggerFactory.getLogger(Main.class);

    public static void main(String[] args) throws IOException, ModelException, TranslateException {
        // 加载测试图片
        String imagePath = "src/main/resources/images/test_dish.jpg";
        Image image = ImageFactory.getInstance().fromFile(imagePath);

        // 执行预测
        Classifications classifications = DishesClassification.predict(image);

        // 输出最佳匹配结果
        Classifications.Classification bestItem = classifications.best();
        System.out.println("识别结果：" + bestItem.getClassName() + " | 概率：" + bestItem.getProbability());

        logger.info("Full Result: {}", classifications);
    }
}

四、模型资源准备

为了运行上述代码，您需要下载对应的模型文件。

1. 访问 DJL Model Zoo 或百度 AI Studio。
2. 搜索菜品分类相关模型（如 ResNet50 训练的 dishes 模型）。
3. 将下载的 .zip 模型文件解压至项目根目录下的 models 文件夹中。
4. 确保文件名与代码中的 optModelName("inference") 一致。

五、常见问题排查

1. 模型加载失败：检查 models/dishes.zip 路径是否正确，确保文件未损坏。
2. 内存溢出：如果处理高分辨率图片，建议在 ImageFactory 中设置缩放比例，减少显存占用。
3. 依赖冲突：DJL 不同引擎可能依赖不同的底层库，确保 pom.xml 中仅引入当前使用的引擎依赖。
4. 日志级别：默认日志可能包含大量调试信息，可通过 log4j.properties 调整级别为 WARN 或 ERROR。

六、总结

本方案展示了如何在 Java 生态中利用 DJL 快速集成 PaddlePaddle 模型。通过模块化设计，将模型加载与业务逻辑分离，便于后续扩展其他分类任务。在实际生产环境中，建议将模型部署到服务器端，通过 REST API 提供服务，并结合容器化技术进行资源调度。

注：文中涉及的技术细节基于 DJL 0.17.0 版本，具体 API 可能随版本更新有所变化，请以官方文档为准。