Pular para o conteúdo
Novo parecer
Voltar à execuçãoVoltar aos benchmarks

Tarefa causcibench_real.q002

causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171059Z-suite-causcibench_real-scripted-ded01d

Veredito

puladaPulada: falta um recurso que a tarefa exige.

Motivo: no reference path (coverage gap)

Pergunta feita ao analista

Does reminding citizens about their Civic Duties make them more likely to vote?

Aprofundamento técnico para especialistas

Acesso direto às fontes primárias, tabela formal de verificações, comparação de argumentos, trajetória completa com prompts brutos e somas SHA-256.

↓ Fontes e gabarito↓ Tabela de verificações↓ Argumentos (referência × agente)↓ Trajetória e prompts↓ Pacote e SHA-256

Valores esperados e de onde vêm

causcibench_real.gold.q002

Fonte
CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 2
Tipo
benchmark_gold
Localização
real_input.json, record id 2: fields effect and std_error
Trecho
id 2 effect 0.018 std_error 0.003
Valor como publicado
0.018
Erro-padrão como publicado
0.003
Valor
0,0180.018 (se 0,0030.003)
Conferido por
arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438 (identifica a cópia lida, não um arquivo canônico)
Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json
Licença
CauSciBench repository (MIT for code; metadata as published in the repository)
    Especificação técnica do gabarito

    CauSciBench real_input.json @ d9bb43a, id 2: effect 0.018

    Verificações

    Cada verificação, o que esperava, o que observou e a chamada que leu
    #VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada

    Caminho de referência e caminho do agente

    A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

    Nenhum caminho de referência registrado para esta tarefa.

    Trajetória

    Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

    Esta tentativa não tem trajetória publicada.

    Épocas × verificações

    Tentativas

    Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

    Downloads desta tarefa

    Pacote da tarefa (.zip)
    67,2 KB · sha256 b5404475a03092a1574caff5d33188ac0161273a7ead45eaf7f93fbb6f81eb68

    O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

    Downloads desta tarefa
    ArquivoTamanhosha256
    native/causcibench_real/causcibench_real.q002.e1.a1.json1,5 KB3f81e123fa45fed22c123019f990dbc8bd79bc64ed95594cf8b71c24bc1389c7
    sources/causcibench_real.gold.q002.json1,2 KB14fdf6a33c32bc45b86ba7fc8c2aa242ff0a38b03b1e3ea6c63f00260a896e31
    specs/causcibench_real.q002.json5,3 KB59138ce5cf81d322c1430bceb2331f262262f62e84ac55e11bccc2821deccd89