평가 결과 쿼리

하나 이상의 evaluations에 대한 그룹화된 평가 결과 행을 조회합니다.

POST /v2/{entity}/{project}/eval_results/query

평가 결과 쿼리

cURL

curl --request POST \
  --url https://api.example.com/v2/{entity}/{project}/eval_results/query \
  --header 'Authorization: Basic <encoded-value>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "evaluation_call_ids": [
    "<string>"
  ],
  "evaluation_run_ids": [
    "<string>"
  ],
  "filters": [
    {
      "query": {
        "$expr": {
          "$and": [
            {
              "$literal": "<string>"
            }
          ]
        }
      },
      "evaluation_call_id": "<string>"
    }
  ],
  "include_predict_and_score_children": true,
  "include_raw_data_rows": false,
  "include_rows": true,
  "include_summary": false,
  "limit": 123,
  "offset": 0,
  "require_intersection": false,
  "resolve_row_refs": false,
  "sort_by": [
    {
      "field": "<string>",
      "evaluation_call_id": "<string>",
      "mode": "value"
    }
  ],
  "summary_require_intersection": true
}
'

200

{
  "rows": [
    {
      "row_digest": "<string>",
      "evaluations": [
        {
          "evaluation_call_id": "<string>",
          "trials": [
            {
              "predict_and_score_call_id": "<string>",
              "model_latency_seconds": 123,
              "model_output": null,
              "predict_call_id": "<string>",
              "scorer_call_ids": {},
              "scores": {},
              "total_tokens": 123
            }
          ]
        }
      ],
      "raw_data_row": null
    }
  ],
  "total_rows": 123,
  "summary": {
    "evaluations": [
      {
        "evaluation_call_id": "<string>",
        "display_name": "<string>",
        "evaluation_ref": "<string>",
        "model_ref": "<string>",
        "scorer_stats": [
          {
            "scorer_key": "<string>",
            "numeric_count": 0,
            "numeric_mean": 123,
            "pass_known_count": 0,
            "pass_rate": 123,
            "pass_signal_coverage": 123,
            "pass_true_count": 0,
            "path": "<string>",
            "trial_count": 0
          }
        ],
        "started_at": "<string>",
        "trace_id": "<string>",
        "trial_count": 0
      }
    ],
    "row_count": 0
  },
  "warnings": [
    "<string>"
  ]
}

인증

Authorization · string · header · 필수

Basic authentication header of the form Basic <encoded-value>, where <encoded-value> is the base64-encoded string username:password.

경로 매개변수

entity · string · 필수

project · string · 필수

본문

application/json

evaluation_call_ids · string[] | null

포함할 Evaluation 루트 호출 ID입니다.

evaluation_run_ids · string[] | null

Evaluation Runs API의 evaluation 호출 ID에 대한 별칭입니다.

filters · EvalResultsFilter · object[] | null

그룹화된 행에 적용되는 필터입니다. 여러 필터는 AND로 결합됩니다.

Show child attributes

include_predict_and_score_children · boolean · 기본값: true

true(기본값)로 설정하면 각 predict_and_score Call의 하위 Call(predict/score)을 가져와 predict_call_id, scorer_call_ids 및 더 정확한 지연 시간/토큰 데이터를 채웁니다. false이면 이러한 필드는 predict_and_score Call 자체에서 파생됩니다(predict_call_id 및 scorer_call_ids는 null/empty가 됨).

include_raw_data_rows · boolean · 기본값: false

true이면 각 결과 행의 raw_data_row를 채웁니다. 인라인 행은 해당 dict 값으로 반환되며, dataset를 참조하는 행은 resolve_row_refs도 true가 아닌 한 ref 문자열로 반환됩니다.

include_rows · boolean · 기본값: true

true이면 그룹화된 행/트라이얼 데이터를 rows에 포함하고, 요청된 행 수준 뷰에 대해 total_rows를 계산합니다.

include_summary · boolean · 기본값: false

true이면 집계된 scorer/evaluation summary 데이터를 summary에 포함합니다.

limit · integer | null

그룹화와 교집합 적용 후 적용되는 선택적 행 수준 페이지 크기입니다.

offset · integer · 기본값: 0

그룹화와 교집합 적용 후 적용되는 선택적 행 수준 페이지 오프셋입니다.

require_intersection · boolean · 기본값: false

true이면 요청된 모든 evaluation에 있는 행만 포함합니다.

resolve_row_refs · boolean · 기본값: false

true이면(include_raw_data_rows=True 필요) 테이블 조회를 통해 dataset 행 참조 문자열을 실제 행 데이터로 해석합니다. false이면 dataset 행 ref를 있는 그대로 반환합니다.

sort_by · EvalResultsSortBy · object[] | null

결과 행의 정렬 지정입니다. 지원되는 필드 접두사: scores., inputs., outputs.. null이면 행이 row_digest ASC 기준으로 정렬됩니다.

Show child attributes

summary_require_intersection · boolean | null

summary 섹션에 대한 선택적 교집합 동작입니다. null이면 require_intersection 값을 사용합니다.

응답

200

application/json

성공 응답

rows · EvalResultsRow · object[] · 필수

Show child attributes

total_rows · integer · 필수

summary · EvalResultsSummaryRes · object

Show child attributes

warnings · string[]

치명적이지 않은 경고입니다(예: dataset 행 ref를 해석하지 못한 경우).