evaluator.py

概述

modelEvaluation/generationEval/evaluator.py 这里面是最关键的对于从语言大模型得到大块或者复杂的带有数学分析结论推导或答案字符通过例如特定的匹配打分或是交给拥有更强计算力如 GPT-4等特大模型充当裁判或者评价人进行语义符合度或者打分的一系列与真实参考答案间的对比操作机制封装代码集模块逻辑单元，通常通过向某个判别法接口提交包含如预测与标签信息的 JSON 请求得到各项单指标返回。