Pular para o conteúdo

Tarefa dgp.mde_cluster.fast

dgptoolT1publicépoca 1, tentativa 1Execução: 20261015T171311Z-suite-dgp-scripted-505dfe

Veredito

passouPassou em todas as verificações obrigatórias.
Calculado pelo agente
0,3576820.3576824564748601
Minimum detectable effect with 1200 units (0.8 power, α = 0.05)
via infer.mde (call_4fc63e90)
Valor esperado (gabarito)
[0.6851471862576144,0.9148528137423857]
Como foi validado
2 de 2 verificações obrigatórias aprovadas
—

Pergunta feita ao analista

Tarefa de ferramenta: nenhuma pergunta; a especificação de referência é chamada direto.

Como o agente resolveu e como foi validado

Resumo passo a passo do que o agente executou, por que o caminho está correto e como cada verificação conferiu o resultado.

  1. 1Chamada que gerou a resposta finalinfer.mde(Cálculo de efeito mínimo detectável (MDE))citada na respostacoincide com a referência
    Ver chamada call_4fc63e90 nos detalhes
    Argumentos principais
    alpha:
    0,050.05
    cluster_size:
    2020
    icc:
    0,1834860.1834862385321101
    n:
    1.2001200
    power:
    0,80.8
    sd:
    1,044031.044030650891055
    share_treated:
    0,50.5
    Resultado calculado
    • mde = 0,357682outcome units 0.3576824564748601
      Minimum detectable effect with 1200 units (0.8 power, α = 0.05)
    Diagnósticos: design_effect = 4,486244.486238532110092 · n_clusters = 6060 (n / cluster_size)
  2. 2Conferência de lastro e resposta final
    • #0situação da ferramenta
      Verifica a situação de retorno da ferramenta.
    • #1figura próxima

Aprofundamento técnico para especialistas

Acesso direto às fontes primárias, tabela formal de verificações, comparação de argumentos, trajetória completa com prompts brutos e somas SHA-256.

Valores esperados e de onde vêm

Nenhuma fonte citada pelas verificações.

Especificação técnica do gabarito

power 0.8 at the clustered MDE; outcome ICC 0.2/1.09; seeds 1950000..1950199, R = 200

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada
0
situação da ferramenta
Verifica a situação de retorno da ferramenta.
1/1 calls ok
obrigatóriapassou1111———
1
figura próxima
simulated power at the MDE 0.3577: 0.8250 in [0.6851, 0.9149]? (MC SE 0.0269, R=200) — target 0.8 ± 3 MC SE + 0.03 (t test on the 60 cluster means (58 df), scipy; the closed form's normal quantiles overstate power by about 0.015)
obrigatóriapassou[0.6851471862576144,0.9148528137423857]0,8250.825———

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

a própria especificação da tarefa

Referência: infer.mdeChamada do agente: infer.mde (call_4fc63e90)igual
Argumentos da referência e do agente
ArgumentoReferênciaAgente
alpha0,050.050,050.05igual
cluster_size20202020igual
icc0,1834860.18348623853211010,1834860.1834862385321101igual
n1.20012001.2001200igual
power0,80.80,80.8igual
sd1,044031.0440306508910551,044031.044030650891055igual
share_treated0,50.50,50.5igual

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

  1. 0Início

    Tarefa de ferramenta: nenhuma pergunta; a especificação de referência é chamada direto.

  2. 1Ferramenta
    infer.mde— Cálculo de efeito mínimo detectável (MDE)v0.1.0call_4fc63e90decidido pelo códigoreexecutável
    Argumentos
    {
      "alpha": 0.05,
      "cluster_size": 20,
      "icc": 0.1834862385321101,
      "n": 1200,
      "power": 0.8,
      "sd": 1.044030650891055,
      "share_treated": 0.5
    }
    Figuras call_4fc63e90
    ChaveValorValor brutoErro-padrãoIC
    mde
    Minimum detectable effect with 1200 units (0.8 power, α = 0.05)
    0,357682outcome units0.3576824564748601——
    Diagnósticos
    • design_effect = 4,486244.486238532110092
    • n_clusters = 6060 (n / cluster_size)
    Derivação matemática e pressupostos
    mde
    1. Efeito mínimo detectável de um teste bilateral (Duflo, Glennerster e Kremer 2007).MDE = (z_a + z_p) × sd × √(DE / (p × (1 − p) × n))→ 0,357682 (0.3576824564748601)
    Pressupostos do estimador
    • two-sided test; normal approximation
    Hashes SHA-256 e metadados de reprodução
    Digests dos dados
    sha256 do resultado
    bba014d35b8ff8ac7280ddf46523becc608870264a9dce03aba2d52f736aff2d
  3. 2Pontuação
    #0situação da ferramentapassouobrigatória1/1 calls ok
  4. 3Pontuação
    #1figura próximapassouobrigatóriasimulated power at the MDE 0.3577: 0.8250 in [0.6851, 0.9149]? (MC SE 0.0269, R=200) — target 0.8 ± 3 MC SE + 0.03 (t test on the 60 cluster means (58 df), scipy; the closed form's normal quantiles overstate power by about 0.015)

Épocas × verificações

Resultado de cada verificação em cada época pontuada
#01
Época 1passoupassou

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

Downloads desta tarefa

Pacote da tarefa (.zip)
8,0 KB · sha256 ead4278edeb14737fa1d66632c1646e279c4b7764125ab8cc38a45a3ce93b9d8

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
ArquivoTamanhosha256
specs/dgp.mde_cluster.fast.json815 B450687f564e6c64c7e838386b21e0f64823967bf201a0077d5273278e07c4388
traces/dgp.mde_cluster.fast.e1.a1.jsonl2,0 KB8b210222e15a96bd594f4e79ed9b5f3815fe1ce8aad2c1066674020f67bec5e8
trajectories/dgp.mde_cluster.fast.e1.a1.jsonl3,6 KBcfd1c4626e89137f90f593f99e47dcc6811795eb89fb9393b9b475ec162bdebe