python修复json神器：json-repair包（用于大模型返回json不规范）
文章目录
一、简介
文档：https://pypi.org/project/json-repair/
（文末有其他语言修复链接）
# 安装 pip install json-repair 1、简介
它可以：
（1）修复JSON中的语法错误
缺少引号、逗号位置错误、有未转义的字符以及键值对不完整。
缺少引号、格式错误的值（true、false、null），以及修复损坏的键值结构。
（2）修复格式错误的JSON数组和对象
不完整或损坏的数组/对象，可通过添加必要的元素（如逗号、括号）或默认值（null、“”）来修复。
该库能够处理包含额外非JSON字符的JSON数据，如注释或位置错误的字符，并在保持有效结构的同时清除这些字符。
（3）缺失JSON值的自动补全
自动用合理的默认值（如空字符串或null）填充JSON字段中的缺失值，以确保数据的有效性。
二、使用
1、三种使用方式
from json_repair import repair_json # 将坏的json字符串修复为好的字符串，如果是单纯的字符串，则返回空串 good_json_string = repair_json(bad_json_string)import json_repair # 你可以使用这个库来完全替代json.loads()： decoded_object = json_repair.loads(json_string)import json_repair # True是直接返回对象，而不是json字符串 decoded_object = json_repair.repair_json(json_string, return_objects=True)（示例）示例
# 用于llm返回json格式，用于修复# pip install json-repairimport json from json_repair import repair_json # 1、 broken_json = "{'name': 'Alice', 'age': 20}" # 有问题的JSON（单引号）# 2、 broken_json = '[1, 2, 3, ]' # 数组末尾多余逗号''' #3、 修复注释" { // 这是一条注释 "id": 123, "desc": "test" /* 这是另一条注释 */ } """ '''#4、 llm按照json格式返回有问题： bad_json_string ='你好，这是我按照json格式返回的数据：{"name": "John", "age": 30, "city": "New York'# 修复json字符串 good_json_string = repair_json(bad_json_string)print(good_json_string)# 解析修复后的json data = json.loads(good_json_string)print(data)2、开发误区
一些使用该库的用户采用以下模式：
这是浪费资源的行为，因为json_repair会自动验证JSON是否有效。如果你仍想进行验证，可以按照下文的说明在调用中添加skip_json_loads=True。
obj ={}try: obj = json.loads(string)except json.JSONDecodeError as e: obj = json_repair.loads(string)...3、从文件或文件描述符中读取JSON数据
JSON修复功能也可直接替代json.load()：
import json_repair try: file_descriptor =open(fname,'rb')except OSError:...with file_descriptor: decoded_object = json_repair.load(file_descriptor)请注意，库无法捕获任何与输入/输出相关的异常，这些异常需要由您自行处理。
import json_repair # 更简洁的方式try: decoded_object = json_repair.from_file(json_file)except OSError:...except IOError:...4、非拉丁字符处理
在处理非拉丁字符（如中文、日文或韩文）时，需要将ensure_ascii=False传递给repair_json()，这样才能在输出结果中保留非拉丁字符。
# 示例： repair_json("{'test_chinese_ascii':'统一码'}")# 将会返回{"test_chinese_ascii":"\u7edf\u4e00\u7801"}# 而不是选择ensure_ascii=False： repair_json("{'test_chinese_ascii':'统一码'}", ensure_ascii=False)# 将会返回{"test_chinese_ascii":"统一码"}5、提升性能
如果你觉得这个库因为使用了json.loads()而运行太慢，可以通过将skip_json_loads=True传递给repair_json来跳过该步骤。例如：
from json_repair import repair_json good_json_string = repair_json(bad_json_string, skip_json_loads=True)设置return_objects=True总是更快，因为解析器会直接返回一个对象，无需将该对象序列化为JSON格式。skip_json_loads 只有在你百分百确定该字符串不是有效 JSON 时才更快。
如果你在转义字符串时遇到问题，可以将其作为原始字符串传递，例如：r"string with escaping\""
6、严格模式
默认情况下，json_repair会尽力“修复”输入数据，即使JSON格式完全无效。
在某些情况下，你需要相反的行为，即让解析器报错而不是尝试修复数据。此时可以将strict=True传递给repair_json、loads、load或from_file来启用该模式：
from json_repair import repair_json repair_json(bad_json_string, strict=True)CLI在使用json_repair --strict input.json时表现出相同的行为（或通过stdin传输数据）。
在严格模式下，解析器一旦遇到重复键、缺失的分隔符、因多余的逗号导致的空键/值对、多个顶级元素或其他模糊结构等问题，就会抛出ValueError错误。当您只需要友好的错误提示来进行验证时，这种模式非常实用，同时您仍可以在代码的其他部分利用json_repair的强大修复功能。
严格模式仍然遵循skip_json_loads=True规则；将两者结合使用可跳过初始的json.loads检查，同时仍能执行严格的解析规则。
7、使用 json_repair 进行流式修复
有时你在传输数据时，需要修复传入的JSON格式。通常情况下这行不通，但你可以将stream_stable传递给repair_json()或loads()，这样就能实现修复功能了：
stream_output = repair_json(stream_input, stream_stable=True)8、使用 CLI 中的 json_repair
# 查看帮助 $ json_repair -h usage: json_repair [-h][-i][-o TARGET][--ensure_ascii][--indent INDENT][--skip-json-loads][--schema SCHEMA][--schema-model MODEL][--strict][filename] Repair and parse JSON files. positional arguments: filename The JSON file to repair (if omitted, reads from stdin) options:-h,--help show this help message and exit -i,--inline Replace the file inline instead of returning the output to stdout -o TARGET,--output TARGET If specified, the output will be written to TARGET filename instead of stdout --ensure_ascii Pass ensure_ascii=True to json.dumps()--indent INDENT Number of spaces for indentation (Default 2)--skip-json-loads Skip initial json.loads validation --schema SCHEMA Path to a JSON Schema file that guides repairs --schema-model MODEL Pydantic v2 model in'module:ClassName' form that guides repairs --strict Raise on duplicate keys, missing separators, empty keys/values,and similar structural issues instead of repairing them 三、Java版本
修复json，其他包都没有这个修复的好！
<dependency><groupId>io.github.du00cs</groupId><artifactId>json-repairj</artifactId><version>0.50.0</version></dependency>1、使用
importorg.jsonrepairj.JsonRepair;importorg.jsonrepairj.ParseResult;publicclassTest{publicstaticvoidmain(String[] args){String str ="你好，这是我按照json格式返回的数据：{\"name\": \"约翰\", \"age\": 30, \"city\": \"New York";// 修复json {"name":"约翰","age":30,"city":"New York"}String result =JsonRepair.repairJson(str);System.out.println(result);// or more control (result = jackson node + warnings)ParseResult result2 =JsonRepair.parseJson(str,true,false);System.out.println(result2.getJson().toString());}}
