评测工程：用样例集防止应用退化

export interface EvalExample {
  id: string;
  input: {
    user_query: string;
    user_tier: 'free' | 'premium';
    context: string;
  };
  reference?: {
    expected_intent: string;
    must_contain_keywords: string[];
    forbidden_keywords: string[];
    suggested_reply_snippet: string;
  };
}

export const goldenDataset: EvalExample[] = [
  {
    id: "ex-001",
    input: {
      user_query: "我的账单金额扣错了，我想申请退款",
      user_tier: "premium",
      context: "用户在上个月订阅了专业版年费服务，昨日被扣除续费账单。"
    },
    reference: {
      expected_intent: "refund_request",
      must_contain_keywords: ["人工客服", "专线", "退款流程"],
      forbidden_keywords: ["无法退款", "不支持退换"],
      suggested_reply_snippet: "已为您接入尊贵版专属客服，我们将竭诚为您处理退款申请。"
    }
  },
  {
    id: "ex-002",
    input: {
      user_query: "怎么修改密码？",
      user_tier: "free",
      context: "用户忘记登录密码。"
    },
    reference: {
      expected_intent: "password_reset",
      must_contain_keywords: ["设置", "安全", "重置链接"],
      forbidden_keywords: ["退款", "人工"],
      suggested_reply_snippet: "请前往‘个人设置’ -> ‘安全中心’点击‘重置密码’。"
    }
  }
];

# 角色
你是一名资深的质量保证专家，负责评估智能客服系统的回答质量。

# 评估任务
请根据以下提供的 [用户输入]、[系统实际输出] 以及 [期望参考答案]，对系统输出进行 1 至 5 分的打分。

# 评分细则 (Rubrics)
- 5分（极佳）：系统回答准确无误，完美覆盖了参考答案的要点，语气亲切专业，且未包含任何 [禁用词]。
- 4分（良好）：系统回答基本准确，语气符合要求，但遗漏了参考答案中的某一个次要细节，或者表达略显累赘。
- 3分（及格）：系统回答大致对路，但语气偏生硬，或者漏掉了关键实体，但没有给用户提供错误引导。
- 2分（不及格）：系统回答偏离主题，没有解决用户根本问题，或者包含了 [禁用词]。
- 1分（完全不可用）：回答存在幻觉、提供了错误的配置指引、或者出现严重的态度问题。

# 输入数据
- 用户输入: {user_query}
- 期望参考答案: {suggested_reply_snippet}
- 禁用词列表: {forbidden_keywords}
- 系统实际输出: {actual_output}

# 输出格式要求
请必须输出以下格式的 JSON，不要带有任何 Markdown 标记：
{
  "score": <1-5的整数>,
  "reason": "详细的扣分或给分理由，请务必客观具体"
}

import { Client } from "langsmith";
import { runOnDataset } from "@langchain/smith";
import { EvaluationResult } from "langsmith/evaluation";
import { ChatOpenAI } from "@langchain/openai";

// 1. 初始化 LangSmith 客户端
const client = new Client({
  apiKey: process.env.LANGSMITH_API_KEY,
  apiUrl: "https://api.smith.langchain.com"
});

// 2. 定义我们的被测 Target（即你的 AI Agent 或 RAG 管道入口）
async function myAppTarget(input: { user_query: string; user_tier: string; context: string }) {
  const model = new ChatOpenAI({ modelName: "gpt-4o-mini", temperature: 0 });
  const systemPrompt = `你是一个智能客服。当前用户级别为: ${input.user_tier}。背景上下文: ${input.context}`;
  
  const response = await model.invoke([
    { role: "system", content: systemPrompt },
    { role: "user", content: input.user_query }
  ]);
  
  return { output: response.content as string };
}

// 3. 编写一个自定义的规则评审器 (Regex Evaluator)
const keywordEvaluator = async ({ run, example }: { run: any; example: any }): Promise<EvaluationResult> => {
  const actualOutput = run.outputs?.output || "";
  const mustContain = example.outputs?.reference?.must_contain_keywords || [];
  const forbidden = example.outputs?.reference?.forbidden_keywords || [];
  
  let score = 1;
  let feedback = "通过所有规则校验";

  for (const word of mustContain) {
    if (!actualOutput.includes(word)) {
      score = 0;
      feedback = `缺失必需关键词: ${word}`;
      break;
    }
  }

  for (const word of forbidden) {
    if (actualOutput.includes(word)) {
      score = 0;
      feedback = `包含了禁用关键词: ${word}`;
      break;
    }
  }

  return {
    key: "keyword_and_forbidden_rules",
    score,
    comment: feedback
  };
};

// 4. 执行评测任务
async function executeSuite() {
  const datasetName = "customer-service-golden-dataset";
  
  console.log("开始在 LangSmith 上运行评测...");
  const results = await runOnDataset(
    myAppTarget,
    datasetName,
    {
      evaluationConfig: {
        customEvaluators: [keywordEvaluator]
      },
      client,
      projectMetadata: {
        commit: process.env.GITHUB_SHA || "local-dev",
        branch: process.env.GITHUB_REF_NAME || "main"
      }
    }
  );
  console.log("评测完成。结果概要:", JSON.stringify(results, null, 2));
}

// 运行评测
// executeSuite().catch(console.error);

name: LLM Regressions and Evaluation Gate

on:
  push:
    branches: [ main ]
  pull_request:
    branches: [ main ]

jobs:
  evaluate:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout Code
        uses: actions/checkout@v4

      - name: Setup Node.js
        uses: actions/setup-node@v4
        with:
          node-version: '20'
          cache: 'npm'

      - name: Install Dependencies
        run: npm ci

      - name: Run Regression Evaluations
        env:
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
          LANGSMITH_API_KEY: ${{ secrets.LANGSMITH_API_KEY }}
          LANGSMITH_PROJECT: "prod-customer-service-eval"
          GITHUB_SHA: ${{ github.sha }}
          GITHUB_REF_NAME: ${{ github.ref_name }}
        run: |
          # 运行评测脚本，若有评审项返回 score=0，脚本必须抛出非零错误码以阻断 CI
          node dist/scripts/run-eval.js

import { Client } from "langsmith";

const client = new Client();

// 当线上用户点击“踩”或者客服人员人工标记纠错时调用此函数
async function captureNegativeFeedback(runId: string, userFeedbackComment: string) {
  // 1. 在原 Trace 上记录用户反馈标签
  await client.createFeedback(runId, "user_score", {
    score: 0,
    comment: userFeedbackComment
  });

  // 2. 将对应的 Run 导入到“线上回归待改数据集”中，以便开发人员修复
  await client.createDatasetCompatibleWithRun("online-failed-cases", {
    sourceRunId: runId
  });
  
  console.log(`已成功将异常 Run ${runId} 导入线上异常回归集 online-failed-cases。`);
}

# 评测回归分析报告

- **评测时间**: 202X-XX-XX
- **提交 Hash**: 
- **测试数据集**: 
- **触发门禁的用例 ID**: 
- **退化原因分析**: 
  - [ ] 提示词过于宽泛，导致生成格式跑飞
  - [ ] 更换的模型版本在长文本理解上能力下降
  - [ ] 新规则与旧逻辑发生语义冲突
- **修复方案**: 
- **验证结论 (通过/不通过)**: