Java 量化实战：股票详细信息实时获取与多数据源架构

关键设计亮点在于自动计算字段，通过自定义 getter 方法实现 zt 和 amplitudeProportionDouble 的自动计算，无需上层代码处理。同时兼顾不同数据源的字段差异，通过 DTO 统一封装，屏蔽底层差异。

二、核心设计：多数据源架构与流程

为避免单一数据源失效导致功能不可用，设计主备数据源架构：以财联社作为主数据源（数据字段更完整），腾讯作为备用数据源（接口稳定性高）。核心流程遵循参数校验、构建请求、发送 HTTP 请求、解析响应数据、DTO 封装、自动计算字段。

三、核心实现：多数据源爬取与封装

下面拆解财联社（主数据源）和腾讯（备用数据源）的完整实现逻辑。

3.1 主数据源：财联社股票详情爬取实现

财联社提供公开的股票详情接口，返回 JSON 格式数据。需依赖 HTTP 工具类发送 GET 请求、JSON 工具类解析响应数据。

@Service
public class StockDetailServiceImpl implements StockDetailService {

    @Override
    public StockShowInfoDto getByCode(String fullCode) {
        // 1. 参数校验：全代码不能为空
        if (StrUtil.isBlank(fullCode)) {
            log.error("财联社爬取股票详情失败：全代码为空");
            return null;
        }
        try {
            // 2. 构建请求 URL：通过 MessageFormat 格式化占位符
            String url = MessageFormat.format(
                "https://x-quote.cls.cn/quote/stock/basic?secu_code={0}&fields=open_px,av_px,high_px,low_px,change,change_px,down_price,change_3,change_5,qrr,entrust_rate,tr,amp,TotalShares,mc,NetAssetPS,NonRestrictedShares,cmc,business_amount,business_balance,pe,ttm_pe,pb,secu_name,secu_code,trade_status,secu_type,preclose_px,up_price,last_px&app=CailianpressWeb&os=web&sv=8.4.6&sign=9f8797a1f4de66c2370f7a03990d2737",
                fullCode
            );
            // 3. 构建请求头：模拟浏览器请求，避免被反爬
            Map<String, String> headerMap = buildDjrHeaderMap();
            // 4. 发送 HTTP GET 请求
            String content = HttpUtil.sendGet(HttpClientConfig.proxyNoUseCloseableHttpClient(), url, headerMap);
            // 5. 解析响应数据
            JSONObject jsonObject = JSONUtil.parseObj(content);
            JSONObject data = jsonObject.getJSONObject("data");
            if (data == null) {
                log.error("财联社爬取股票详情失败：响应数据中 data 节点为空，fullCode={}", fullCode);
                return null;
            }

            // 6. DTO 封装
            StockShowInfoDto stockShowInfoDto = new StockShowInfoDto();
            stockShowInfoDto.setCode(StrUtil.subSufByLength(fullCode, 6));
            stockShowInfoDto.setName(data.getStr("secu_name"));
            stockShowInfoDto.setCurrDate(DateUtil.now());
            stockShowInfoDto.setFullCode(fullCode);
            stockShowInfoDto.setDate(DateUtil.now());
            stockShowInfoDto.setWebUrl("Data Source Link");

            // 行情数据封装
            stockShowInfoDto.setOpeningPrice(data.getBigDecimal("open_px"));
            stockShowInfoDto.setYesClosingPrice(data.getBigDecimal("preclose_px"));
            stockShowInfoDto.setHighestPrice(data.getBigDecimal("high_px"));
            stockShowInfoDto.setLowestPrice(data.getBigDecimal("low_px"));
            stockShowInfoDto.setClosingPrice(data.getBigDecimal("last_px"));
            stockShowInfoDto.setNowPrice(data.getBigDecimal("last_px"));

            // 交易数据封装
            stockShowInfoDto.setTradingVolume(data.getLong("business_amount"));
            stockShowInfoDto.setTradingValue(data.getBigDecimal("business_balance"));
            stockShowInfoDto.setAmplitude(data.getBigDecimal("change_px"));
            stockShowInfoDto.setAmplitudeProportion(BigDecimalUtil.mul100(data.getBigDecimal("change")));

            // 估值与辅助数据封装
            stockShowInfoDto.setChangingProportion(BigDecimalUtil.mul100B(data.getBigDecimal("tr")));
            stockShowInfoDto.setThan(BigDecimalUtil.mul100B(data.getBigDecimal("qrr")));
            stockShowInfoDto.setPeRatio(data.getBigDecimal("ttm_pe"));

            // 自动计算涨停状态
            stockShowInfoDto.setZt(stockShowInfoDto.getZt());
            return stockShowInfoDto;
        } catch (Exception e) {
            log.error("财联社爬取股票详情失败，fullCode={}", fullCode, e);
            return null;
        }
    }

    private Map<String, String> buildDjrHeaderMap() {
        Map<String, String> headerMap = new HashMap<>();
        headerMap.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
        headerMap.put("Referer", "https://www.cls.cn/");
        headerMap.put("Accept", "application/json, text/plain, */*");
        return headerMap;
    }

    // ... 其他方法见下方合并
}

关键注意点：必须模拟浏览器请求头，否则接口会拒绝返回数据。全代码处理需注意截取后 6 位作为纯代码。数值计算使用 BigDecimalUtil 工具类避免浮点数精度丢失。

3.2 备用数据源：腾讯股票详情爬取实现

腾讯股票接口返回特殊格式字符串，需自定义解析逻辑。该接口稳定性高，适合作为备用数据源。可复用历史数据爬取的基础方法。

    @Resource
    private DefaultProperties defaultProperties;

    @Resource
    private DailyTradingInfoParse dailyTradingInfoParse;

    @Override
    public StockShowInfoDto getNowInfo(String fullCode) {
        if (StrUtil.isBlank(fullCode)) {
            log.error("腾讯爬取股票详情失败：全代码为空");
            return null;
        }
        try {
            // 复用基础方法：爬取腾讯股票当前行情数据
            List<TxStockHistoryInfo> txStockHistoryInfos = parseTxMoneyYesHistory(Collections.singletonList(fullCode), DateTime.now());
            if (CollUtil.isEmpty(txStockHistoryInfos)) {
                log.error("腾讯爬取股票详情失败：解析后数据列表为空，fullCode={}", fullCode);
                return null;
            }

            TxStockHistoryInfo txStockHistoryInfo = txStockHistoryInfos.get(0);
            StockShowInfoDto stockShowInfoDto = new StockShowInfoDto();

            // 基础信息封装
            stockShowInfoDto.setCode(txStockHistoryInfo.getCode());
            stockShowInfoDto.setName(txStockHistoryInfo.getName());
            stockShowInfoDto.setFullCode(fullCode);
            stockShowInfoDto.setExchange(0);
            stockShowInfoDto.setDate(DateUtil.now());

            // 行情数据封装
            stockShowInfoDto.setOpeningPrice(txStockHistoryInfo.getOpeningPrice());
            stockShowInfoDto.setYesClosingPrice(txStockHistoryInfo.getYesClosingPrice());
            stockShowInfoDto.setHighestPrice(txStockHistoryInfo.getHighestPrice());
            stockShowInfoDto.setLowestPrice(txStockHistoryInfo.getLowestPrice());
            stockShowInfoDto.setClosingPrice(txStockHistoryInfo.getClosingPrice());
            stockShowInfoDto.setNowPrice(txStockHistoryInfo.getNowPrice());

            // 交易数据封装
            stockShowInfoDto.setTradingVolume(txStockHistoryInfo.getTradingVolume());
            stockShowInfoDto.setTradingValue(txStockHistoryInfo.getTradingValue());
            stockShowInfoDto.setAmplitude(txStockHistoryInfo.getAmplitude());
            stockShowInfoDto.setAmplitudeProportion(BigDecimalUtil.toShowString2(txStockHistoryInfo.getAmplitudeProportion()));
            stockShowInfoDto.setChangingProportion(txStockHistoryInfo.getChangingProportion());
            stockShowInfoDto.setThan(txStockHistoryInfo.getThan());
            stockShowInfoDto.setPeRatio(txStockHistoryInfo.getDynamicPriceRatio());

            // 涨停状态：腾讯数据未直接提供，暂设为 0
            stockShowInfoDto.setZt(0);
            return stockShowInfoDto;
        } catch (Exception e) {
            log.error("腾讯爬取股票详情失败，fullCode={}", fullCode, e);
            return null;
        }
    }

    @Override
    public List<TxStockHistoryInfo> parseTxMoneyYesHistory(List<String> codeList, DateTime beforeLastWorking) {
        String qParam = StrUtil.join(",", codeList);
        String url = MessageFormat.format(defaultProperties.getTxMoneyHistoryUrl(), qParam);
        try {
            Map<String, String> header = new HashMap<>();
            header.put("Referer", "http://qt.gtimg.cn");
            // 腾讯接口响应编码为 GBK
            String content = HttpUtil.sendGet(HttpClientConfig.proxyNoUseCloseableHttpClient(), url, header, "gbk");
            return dailyTradingInfoParse.parseTxMoneyHistory(content, codeList, beforeLastWorking);
        } catch (Exception e) {
            log.error("parseTxMoneyYesHistory 获取股票{}当前信息失败", qParam, e);
            return null;
        }
    }

关键注意点：响应编码需指定为 GBK，否则会出现中文乱码。腾讯接口返回特殊格式字符串，需通过专用解析工具类自定义解析逻辑。

3.3 数据源切换策略实现

为实现主备数据源自动切换，新增数据源选择器方法。优先调用财联社接口，若返回 null 则自动调用腾讯接口；若均失败，返回 null 并记录日志。

    @Override
    public StockShowInfoDto getStockDetail(String fullCode) {
        // 1. 优先调用主数据源（财联社）
        StockShowInfoDto mainSourceResult = getByCode(fullCode);
        if (mainSourceResult != null) {
            return mainSourceResult;
        }
        // 2. 主数据源失败，切换备用数据源（腾讯）
        log.warn("财联社爬取失败，切换腾讯数据源，fullCode={}", fullCode);
        StockShowInfoDto backupSourceResult = getNowInfo(fullCode);
        if (backupSourceResult != null) {
            return backupSourceResult;
        }
        // 3. 均失败，返回 null+记录错误日志
        log.error("主备数据源爬取均失败，fullCode={}", fullCode);
        return null;
    }

四、核心优化点与生产环境适配

上述实现已满足基础需求，但在生产环境中需补充以下优化点：

1. 缓存优化：对股票详情数据添加 Redis 缓存，key 为 STOCK_DETAIL + fullCode，过期时间设为 5 分钟，减少重复爬取。
2. 反爬机制适配：维护 User-Agent 池，每次请求随机选择，降低反爬风险。
3. 请求频率控制：通过线程池 + 计数器限制爬取频率，避免被封禁 IP。
4. 数据源健康监控：记录主备数据源的爬取成功率，低于阈值时发送告警。
5. 字段校验增强：对 DTO 封装后的字段进行非空校验，若为空则填充默认值，避免空指针异常。
6. 降级策略：当主备数据源均失败时，返回最近一次缓存的股票详情数据，提升用户体验。

五、总结

本文完成了量化系统数据展示层的核心模块——股票详细信息实时获取，实现了多数据源爬取、自动切换、数据封装的完整逻辑。后续将结合实时详情数据与自选股票功能，构建自己的股票实时查看系统。在高并发场景下，如何设计缓存策略兼顾性能与数据实时性，值得进一步探讨。