Pular para o conteúdo

Tarefa nist_anova.smls09.tool

nist_anovatoolT1publicépoca 1, tentativa 1Execução: 20261015T171234Z-suite-nist_anova-baseline-71784e

Veredito

falhouDecidida pela verificação 3: dígitos corretos (LRE), fora da tolerância.
LRE 4.17 (min 6.0)
Calculado pelo agente
F =2.001,132001.1349262180404
F statistic of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
via infer.linear_hypothesis (call_cbfbef9b)
Valor esperado (gabarito)
F =2.0012001
NIST/ITL StRD, Analysis of Variance: SmLs09 (SmLs09.dat), certified values
Como foi validado
3 de 4 verificações obrigatórias aprovadas
4,171 dígitos significativos corretos (mínimo exigido: 6)

Pergunta feita ao analista

Tarefa de ferramenta: nenhuma pergunta; a especificação de referência é chamada direto.

Como o agente resolveu e como foi validado

Resumo passo a passo do que o agente executou, por que o caminho está correto e como cada verificação conferiu o resultado.

  1. 1Preparação da base de dados
    d— NIST StRD SmLs09: 18009 observations; treatment = the treatment level (1 to 9), response = the response, treatment_2 … treatment_9 = 1 when the row is at that treatment level (level 1 is the reference)
    Transformação "dummies" aplicada à base "d" (18009 → 18009 linhas). {"column":"treatment","drop_first":true,"prefix":"treatment"}
  2. 2Chamada que gerou a resposta finalinfer.linear_hypothesis(Teste de hipótese linear conjunta (estatística F / Wald))citada na respostacoincide com a referência
    Ver chamada call_cbfbef9b nos detalhes
    Argumentos principais
    dataset:
    "d"
    hypothesis:
    "treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0"
    se:
    "classical"
    x:
    ["treatment_2","treatment_3","treatment_4","treatment_5","treatment_6","treatment_7","treatment_8","treatment_9"]
    y:
    "response"
    Resultado calculado
    • F = 2.001,13 2001.1349262180404
      F statistic of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
    • p_value = 0probabilidade 0
      p-value of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
    Diagnósticos: statistic = "F" (F = W/m against F(m, n − k)) · df_numerator = 88 (number of restrictions) · df_denominator = 18.00018000 (residual degrees of freedom n − k) · se_type = "classical" (classical (homoskedastic) standard errors) · n_obs = 18.00918009
  3. 3Conferência de lastro e resposta final
    • #0situação da ferramenta
      Verifica a situação de retorno da ferramenta.
    • #1diagnósticodf_numerator
      certified between-treatment df
    • #2diagnósticodf_denominator
      certified within-treatment df
    • #3dígitos corretos (LRE)F
      certified F statistic

Aprofundamento técnico para especialistas

Acesso direto às fontes primárias, tabela formal de verificações, comparação de argumentos, trajetória completa com prompts brutos e somas SHA-256.

Valores esperados e de onde vêm

nist_anova.smls09.f

Fonte
NIST/ITL StRD, Analysis of Variance: SmLs09 (SmLs09.dat), certified values
Tipo
certified
Localização
Certified Values block (lines 41-47), row 'Between Treatment F Statistic'
Trecho
Between Treatment F Statistic: 2.00100000000000E+03
Valor como publicado
2.00100000000000E+03
Valor
2.0012001
Conferido por
fonte primária · Parsed from the certified block of the file as itl.nist.gov served it (CRLF); the pinned mirror the suite fetches has the same bytes after CRLF -> LF. Re-derived from the data with exact rational arithmetic in tests/test_suite_nist_extra.py.
sha256 da cópia lida
f4688c5a0d5690fc86fa27e0c5a265eef0b24641e74af27aa72d9615084dd13f (identifica a cópia lida, não um arquivo canônico)
Endereço
https://www.itl.nist.gov/div898/strd/anova/SmLs09.dat
Licença
Public domain: a work of the US Government (NIST/ITL Statistical Reference Datasets)
  • #3 dígitos corretos (LRE): 2.0012001 · LRE >= 6.0
Especificação técnica do gabarito · Outras estatísticas da fonte primária (não pontuadas nesta versão)

NIST StRD SmLs09 certified values (500-digit arithmetic), read from the certified block (lines 41-47) of the file itl.nist.gov serves (sha256 f4688c5a0d56… CRLF, aa610b390c8d… LF); fetched from scipy/scipy@92d2a8592782ee19a1161d0bf3fc2241ba78bb63 (tag v1.14.1):scipy/stats/tests/data/nist_anova/SmLs09.dat; higher difficulty, n=18009.

Outras estatísticas da fonte primária (não pontuadas nesta versão)
between_ms:
2.00100000000000E+01(sums and mean squares are not figures of infer.linear_hypothesis)
between_ss:
1.60080000000000E+02(sums and mean squares are not figures of infer.linear_hypothesis)
r_squared:
4.70712773465067E-01(not stated by infer.linear_hypothesis; infer.ols states r2 as a diagnostic, not scored in this version)
residual_sd:
1.00000000000000E-01(no tool states the residual standard deviation as a figure)
within_ms:
1.00000000000000E-02(sums and mean squares are not figures of infer.linear_hypothesis)
within_ss:
1.80000000000000E+02(sums and mean squares are not figures of infer.linear_hypothesis)

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada
0
situação da ferramenta
Verifica a situação de retorno da ferramenta.
status ok
obrigatóriapassou"ok""ok"———
1
diagnósticodf_numerator
certified between-treatment df
8 vs 8
obrigatóriapassou8888default rel 1e-6 (abs floor 1e-6)——
2
diagnósticodf_denominator
certified within-treatment df
18000 vs 18000
obrigatóriapassou18.0001800018.00018000default rel 1e-6 (abs floor 1e-6)——
3
dígitos corretos (LRE)F
certified F statistic
LRE 4.17 (min 6.0)
obrigatóriafalhou2.0012001
Dígitos corretos (LRE)
4,1714.171
LRE >= 6.0nist_anova.smls09.f—

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

caminho de referência do item · metadata_rule

Referência: infer.linear_hypothesisChamada do agente: infer.linear_hypothesis (call_cbfbef9b)igual
Argumentos da referência e do agente
ArgumentoReferênciaAgente
cluster——não fixado pela referência
dataset"d""d"igual
hypothesis"treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0""treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0"igual
se"classical""classical"igual
subset——não fixado pela referência
x["treatment_2","treatment_3","treatment_4","treatment_5","treatment_6","treatment_7","treatment_8","treatment_9"]["treatment_2","treatment_3","treatment_4","treatment_5","treatment_6","treatment_7","treatment_8","treatment_9"]igual
y"response""response"igual

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

  1. 0Início

    Tarefa de ferramenta: nenhuma pergunta; a especificação de referência é chamada direto.

    d (agent)

    NIST StRD SmLs09: 18009 observations; treatment = the treatment level (1 to 9), response = the response, treatment_2 … treatment_9 = 1 when the row is at that treatment level (level 1 is the reference)

    file aa610b390c8d947ec258e32df0f43467fcb1820f47c5ce25a993ae1d9c715ae7 · frame —
    1. dummies {"column":"treatment","drop_first":true,"prefix":"treatment"}
  2. 1Transformação
    d · dummies {"column":"treatment","drop_first":true,"prefix":"treatment"}
    18009 → 18009 linhas
    Frame antes → depois: 8db499972bbb → 874bc9ba9917
  3. 2Ferramenta
    infer.linear_hypothesis— Teste de hipótese linear conjunta (estatística F / Wald)v0.1.0call_cbfbef9bdecidido pelo códigoreexecutável
    Argumentos
    {
      "cluster": null,
      "dataset": "d",
      "hypothesis": "treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0",
      "se": "classical",
      "subset": null,
      "x": [
        "treatment_2",
        "treatment_3",
        "treatment_4",
        "treatment_5",
        "treatment_6",
        "treatment_7",
        "treatment_8",
        "treatment_9"
      ],
      "y": "response"
    }
    Figuras call_cbfbef9b
    ChaveValorValor brutoErro-padrãoIC
    F
    F statistic of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
    2.001,132001.1349262180404——
    p_value
    p-value of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
    0probabilidade0——
    Diagnósticos
    • statistic = "F" (F = W/m against F(m, n − k))
    • df_numerator = 88 (number of restrictions)
    • df_denominator = 18.00018000 (residual degrees of freedom n − k)
    • se_type = "classical" (classical (homoskedastic) standard errors)
    • n_obs = 18.00918009
    • n_clusters = — (errors not clustered)
    Derivação matemática e pressupostos
    F
    1. Estatística de Wald das 8 restrições, com a covariância classical (homoskedastic) standard errors.→ 16.009,1 (16009.079409744323)
    2. Estatística F: a de Wald dividida pelo número de restrições.F = W / m→ 2.001,13 (2001.1349262180404)
    p_value
    1. Probabilidade de uma F(8, 18000) exceder a estatística observada.→ 0 (0)
    Pressupostos do estimador
    • errors are independent and have the same variance for every observation
    Tabelas (2)
    {
      "coefficients": [
        {
          "ci_high": 1000000000000.4044,
          "ci_low": 1000000000000.3956,
          "coef": 1000000000000.4,
          "p": 0,
          "se": 0.0022355699150202234,
          "t": 447313230188711.75,
          "term": "Intercept"
        },
        {
          "ci_high": -0.09383960410130877,
          "ci_low": -0.10623357708119084,
          "coef": -0.10003659059124981,
          "p": 6.931521624154509e-214,
          "se": 0.0031615732934548975,
          "t": -31.64139537689858,
          "term": "treatment_2"
        },
        {
          "ci_high": 0.10617257242774376,
          "ci_low": 0.09377859944786206,
          "coef": 0.09997558593780291,
          "p": 1.2365005332269767e-213,
          "se": 0.0031615732934548086,
          "t": 31.622099713701278,
          "term": "treatment_3"
        },
        {
          "ci_high": -0.09383960410113809,
          "ci_low": -0.10623357708101944,
          "coef": -0.10003659059107876,
          "p": 6.931521635018747e-214,
          "se": 0.0031615732934547115,
          "t": -31.64139537684634,
          "term": "treatment_4"
        },
        {
          "ci_high": 0.1061725724274336,
          "ci_low": 0.09377859944755108,
          "coef": 0.09997558593749234,
          "p": 1.2365005369444156e-213,
          "se": 0.0031615732934550107,
          "t": 31.622099713601024,
          "term": "treatment_5"
        },
        {
          "ci_high": -0.09383960410132425,
          "ci_low": -0.10623357708120681,
          "coef": -0.10003659059126553,
          "p": 6.9315216233830005e-214,
          "se": 0.0031615732934550237,
          "t": -31.641395376902288,
          "term": "treatment_6"
        },
        {
          "ci_high": 0.10617257242756717,
          "ci_low": 0.09377859944768441,
          "coef": 0.09997558593762579,
          "p": 1.2365005354038572e-213,
          "se": 0.0031615732934550775,
          "t": 31.622099713642566,
          "term": "treatment_7"
        },
        {
          "ci_high": -0.09383960410102894,
          "ci_low": -0.10623357708091115,
          "coef": -0.10003659059097005,
          "p": 6.931521642630458e-214,
          "se": 0.0031615732934549327,
          "t": -31.64139537680974,
          "term": "treatment_8"
        },
        {
          "ci_high": 0.10617257242755622,
          "ci_low": 0.09377859944767418,
          "coef": 0.0999755859376152,
          "p": 1.2365005354595353e-213,
          "se": 0.0031615732934548923,
          "t": 31.622099713641067,
          "term": "treatment_9"
        }
      ],
      "restrictions": [
        {
          "estimate": -0.10003659059124981,
          "hypothesized": 0,
          "restriction": "treatment_2 = 0"
        },
        {
          "estimate": 0.09997558593780291,
          "hypothesized": 0,
          "restriction": "treatment_3 = 0"
        },
        {
          "estimate": -0.10003659059107876,
          "hypothesized": 0,
          "restriction": "treatment_4 = 0"
        },
        {
          "estimate": 0.09997558593749234,
          "hypothesized": 0,
          "restriction": "treatment_5 = 0"
        },
        {
          "estimate": -0.10003659059126553,
          "hypothesized": 0,
          "restriction": "treatment_6 = 0"
        },
        {
          "estimate": 0.09997558593762579,
          "hypothesized": 0,
          "restriction": "treatment_7 = 0"
        },
        {
          "estimate": -0.10003659059097005,
          "hypothesized": 0,
          "restriction": "treatment_8 = 0"
        },
        {
          "estimate": 0.0999755859376152,
          "hypothesized": 0,
          "restriction": "treatment_9 = 0"
        }
      ]
    }
    Hashes SHA-256 e metadados de reprodução
    Digests dos dados
    d 874bc9ba991716686e5848d5038f3dc97ad37b6f45a1252dbdbae909e44faeb8
    sha256 do resultado
    68f4454ea553de1f5afb4236f2e0d0018c1735d7b836aa62eecf8afc668d0900
  4. 3Pontuação
    #0situação da ferramentapassouobrigatóriastatus ok
  5. 4Pontuação
    #1diagnósticopassouobrigatória8 vs 8
  6. 5Pontuação
    #2diagnósticopassouobrigatória18000 vs 18000
  7. 6Pontuação
    #3dígitos corretos (LRE)falhouobrigatóriaLRE 4.17 (min 6.0)

Épocas × verificações

Resultado de cada verificação em cada época pontuada
#0123
Época 1passoupassoupassoufalhou

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

Downloads desta tarefa

Pacote da tarefa (.zip)
15,5 KB · sha256 69813c6afd6ca53370870b2f164e92a719a951784eb4d7d302f31f6b219cd535

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
ArquivoTamanhosha256
sources/nist_anova.smls09.f.json1,2 KB897fffe0385a47ef6b29f012f641f9cc7010db6d480c5dcb49e14fe11be78b45
specs/nist_anova.smls09.tool.json4,6 KBade586127410acbb014816796758dd037b6d7bf57895496afd2e7d911d1b4f61
traces/nist_anova.smls09.tool.e1.a1.jsonl6,3 KB537c0ee9cd09a61613f8b14cfb06415061c647d1bda1a7c53bd52f42e40092a4
trajectories/nist_anova.smls09.tool.e1.a1.jsonl8,9 KBa40b2832cac790df09036bdf451447df72521a61b1de4727e37bdd6f8bc37f2a