Tarefa causcibench_real.q166

causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171059Z-suite-causcibench_real-scripted-ded01d

Veredito

puladaPulada: falta um recurso que a tarefa exige.

Motivo: no reference path (coverage gap)

Pergunta feita ao analista

What is the effect of provider-type information - presenting public non-profits as higher quality and private non-profits as lower quality - on perceived nursing home quality among citizens with public service preferences between 75 and 100?

Aprofundamento técnico para especialistas

Acesso direto às fontes primárias, tabela formal de verificações, comparação de argumentos, trajetória completa com prompts brutos e somas SHA-256.

↓ Fontes e gabarito ↓ Tabela de verificações ↓ Argumentos (referência × agente)↓ Trajetória e prompts ↓ Pacote e SHA-256

Valores esperados e de onde vêm

causcibench_real.gold.q166

Fonte: CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 166
Tipo: benchmark_gold
Localização: real_input.json, record id 166: fields effect and std_error
Trecho: id 166 effect 0.215 std_error 0.064
Valor como publicado: 0.215
Erro-padrão como publicado: 0.064
Valor: 0,2150.215 (se 0,0640.064)
Conferido por: arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
sha256 da cópia lida: c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438 (identifica a cópia lida, não um arquivo canônico)
Endereço: https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json
Licença: CauSciBench repository (MIT for code; metadata as published in the repository)

Especificação técnica do gabarito

CauSciBench real_input.json @ d9bb43a, id 166: effect 0.215

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#	Verificação	Obrigatória	Resultado	Esperado	Observado	Tolerância	Fonte	Chamada

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

Nenhum caminho de referência registrado para esta tarefa.

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

Esta tentativa não tem trajetória publicada.

Épocas × verificações

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

época 1, tentativa 1puladapontuada(exibindo)no reference path (coverage gap)

Downloads desta tarefa

Pacote da tarefa (.zip)

67,7 KB · sha256 cd45673fc8817eebaa5ab9555e905df86046937b29263cec46f05045084708e4

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
Arquivo	Tamanho	sha256
native/causcibench_real/causcibench_real.q166.e1.a1.json	1,7 KB	`e29c2437665cb0503f91445c8fc88f2984e7c636c812dd4b9d8d491971e706ac`
sources/causcibench_real.gold.q166.json	1,2 KB	`61f6abbdc0b4fee4106b284e96cddd3db3b4a9d83c4fc6e8480e5a50c4de0059`
specs/causcibench_real.q166.json	6,8 KB	`2438716207c30a21ff4c905205be7adb96cbcb5167aaf0c18607896f6bda08ab`