Pular para o conteúdo

Tarefa causcibench_real.q147

causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171059Z-suite-causcibench_real-scripted-ded01d

Veredito

puladaPulada: falta um recurso que a tarefa exige.

Motivo: no reference path (coverage gap)

Pergunta feita ao analista

What is the effect of the democratic candidate winning the election on the sitting governor being democratic in statewide races?

Aprofundamento técnico para especialistas

Acesso direto às fontes primárias, tabela formal de verificações, comparação de argumentos, trajetória completa com prompts brutos e somas SHA-256.

Valores esperados e de onde vêm

causcibench_real.gold.q147

Fonte
CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 147
Tipo
benchmark_gold
Localização
real_input.json, record id 147: fields effect and std_error
Trecho
id 147 effect -0.057 std_error 0.065
Valor como publicado
-0.057
Erro-padrão como publicado
0.065
Valor
-0,057-0.057 (se 0,0650.065)
Conferido por
arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438 (identifica a cópia lida, não um arquivo canônico)
Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json
Licença
CauSciBench repository (MIT for code; metadata as published in the repository)
    Especificação técnica do gabarito

    CauSciBench real_input.json @ d9bb43a, id 147: effect -0.057

    Verificações

    Cada verificação, o que esperava, o que observou e a chamada que leu
    #VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada

    Caminho de referência e caminho do agente

    A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

    Nenhum caminho de referência registrado para esta tarefa.

    Trajetória

    Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

    Esta tentativa não tem trajetória publicada.

    Épocas × verificações

    Tentativas

    Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

    Downloads desta tarefa

    Pacote da tarefa (.zip)
    66,8 KB · sha256 7b587b02a598c1e2c08a866ba57c1f62e739d01b1b6ce9dfba50be38e1b62cec

    O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

    Downloads desta tarefa
    ArquivoTamanhosha256
    native/causcibench_real/causcibench_real.q147.e1.a1.json1,5 KB80d9d7e974dfc64f8335543f00a30d2edb057e84664c10d3b540fbb87492899f
    sources/causcibench_real.gold.q147.json1,2 KB3fec4edffc13740d1047e99f10fb014edfba2d7afcdff7e46af6b2f33874891e
    specs/causcibench_real.q147.json4,6 KB7d39fc54aa9886edf25bd68c3eaf0b2cb8339d5fce47850056afc8b1df28275b