Pular para o conteúdo

Tarefa nist_anova.smls04.tool

nist_anovatoolT1publicépoca 1, tentativa 1Execução: 20261015T171234Z-suite-nist_anova-baseline-71784e

Veredito

passouPassou em todas as verificações obrigatórias.
Calculado pelo agente
F =2121.000000000776094
F statistic of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
via infer.linear_hypothesis (call_a301460d)
Valor esperado (gabarito)
F =2121
NIST/ITL StRD, Analysis of Variance: SmLs04 (SmLs04.dat), certified values
Como foi validado
4 de 4 verificações obrigatórias aprovadas
10,432 dígitos significativos corretos (mínimo exigido: 9)

Pergunta feita ao analista

Tarefa de ferramenta: nenhuma pergunta; a especificação de referência é chamada direto.

Como o agente resolveu e como foi validado

Resumo passo a passo do que o agente executou, por que o caminho está correto e como cada verificação conferiu o resultado.

  1. 1Preparação da base de dados
    d— NIST StRD SmLs04: 189 observations; treatment = the treatment level (1 to 9), response = the response, treatment_2 … treatment_9 = 1 when the row is at that treatment level (level 1 is the reference)
    Transformação "dummies" aplicada à base "d" (189 → 189 linhas). {"column":"treatment","drop_first":true,"prefix":"treatment"}
  2. 2Chamada que gerou a resposta finalinfer.linear_hypothesis(Teste de hipótese linear conjunta (estatística F / Wald))citada na respostacoincide com a referência
    Ver chamada call_a301460d nos detalhes
    Argumentos principais
    dataset:
    "d"
    hypothesis:
    "treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0"
    se:
    "classical"
    x:
    ["treatment_2","treatment_3","treatment_4","treatment_5","treatment_6","treatment_7","treatment_8","treatment_9"]
    y:
    "response"
    Resultado calculado
    • F = 21 21.000000000776094
      F statistic of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
    • p_value = 0,000000000000000000000258326probabilidade 2.5832643332657163e-22
      p-value of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
    Diagnósticos: statistic = "F" (F = W/m against F(m, n − k)) · df_numerator = 88 (number of restrictions) · df_denominator = 180180 (residual degrees of freedom n − k) · se_type = "classical" (classical (homoskedastic) standard errors) · n_obs = 189189
  3. 3Conferência de lastro e resposta final
    • #0situação da ferramenta
      Verifica a situação de retorno da ferramenta.
    • #1diagnósticodf_numerator
      certified between-treatment df
    • #2diagnósticodf_denominator
      certified within-treatment df
    • #3dígitos corretos (LRE)F
      certified F statistic

Aprofundamento técnico para especialistas

Acesso direto às fontes primárias, tabela formal de verificações, comparação de argumentos, trajetória completa com prompts brutos e somas SHA-256.

Valores esperados e de onde vêm

nist_anova.smls04.f

Fonte
NIST/ITL StRD, Analysis of Variance: SmLs04 (SmLs04.dat), certified values
Tipo
certified
Localização
Certified Values block (lines 41-47), row 'Between Treatment F Statistic'
Trecho
Between Treatment F Statistic: 2.10000000000000E+01
Valor como publicado
2.10000000000000E+01
Valor
2121
Conferido por
fonte primária · Parsed from the certified block of the file as itl.nist.gov served it (CRLF); the pinned mirror the suite fetches has the same bytes after CRLF -> LF. Re-derived from the data with exact rational arithmetic in tests/test_suite_nist_extra.py.
sha256 da cópia lida
1308eb1581f28ce6c9de4ca9520fcc729f916c34f1f9dee10fb6e6581e5b4ce7 (identifica a cópia lida, não um arquivo canônico)
Endereço
https://www.itl.nist.gov/div898/strd/anova/SmLs04.dat
Licença
Public domain: a work of the US Government (NIST/ITL Statistical Reference Datasets)
  • #3 dígitos corretos (LRE): 2121 · LRE >= 9.0
Especificação técnica do gabarito · Outras estatísticas da fonte primária (não pontuadas nesta versão)

NIST StRD SmLs04 certified values (500-digit arithmetic), read from the certified block (lines 41-47) of the file itl.nist.gov serves (sha256 1308eb1581f2… CRLF, 7c8f87a60245… LF); fetched from scipy/scipy@92d2a8592782ee19a1161d0bf3fc2241ba78bb63 (tag v1.14.1):scipy/stats/tests/data/nist_anova/SmLs04.dat; average difficulty, n=189.

Outras estatísticas da fonte primária (não pontuadas nesta versão)
between_ms:
2.10000000000000E-01(sums and mean squares are not figures of infer.linear_hypothesis)
between_ss:
1.68000000000000E+00(sums and mean squares are not figures of infer.linear_hypothesis)
r_squared:
4.82758620689655E-01(not stated by infer.linear_hypothesis; infer.ols states r2 as a diagnostic, not scored in this version)
residual_sd:
1.00000000000000E-01(no tool states the residual standard deviation as a figure)
within_ms:
1.00000000000000E-02(sums and mean squares are not figures of infer.linear_hypothesis)
within_ss:
1.80000000000000E+00(sums and mean squares are not figures of infer.linear_hypothesis)

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada
0
situação da ferramenta
Verifica a situação de retorno da ferramenta.
status ok
obrigatóriapassou"ok""ok"———
1
diagnósticodf_numerator
certified between-treatment df
8 vs 8
obrigatóriapassou8888default rel 1e-6 (abs floor 1e-6)——
2
diagnósticodf_denominator
certified within-treatment df
180 vs 180
obrigatóriapassou180180180180default rel 1e-6 (abs floor 1e-6)——
3
dígitos corretos (LRE)F
certified F statistic
LRE 10.43 (min 9.0)
obrigatóriapassou2121
Dígitos corretos (LRE)
10,43210.432
LRE >= 9.0nist_anova.smls04.f—

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

caminho de referência do item · metadata_rule

Referência: infer.linear_hypothesisChamada do agente: infer.linear_hypothesis (call_a301460d)igual
Argumentos da referência e do agente
ArgumentoReferênciaAgente
cluster——não fixado pela referência
dataset"d""d"igual
hypothesis"treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0""treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0"igual
se"classical""classical"igual
subset——não fixado pela referência
x["treatment_2","treatment_3","treatment_4","treatment_5","treatment_6","treatment_7","treatment_8","treatment_9"]["treatment_2","treatment_3","treatment_4","treatment_5","treatment_6","treatment_7","treatment_8","treatment_9"]igual
y"response""response"igual

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

  1. 0Início

    Tarefa de ferramenta: nenhuma pergunta; a especificação de referência é chamada direto.

    d (agent)

    NIST StRD SmLs04: 189 observations; treatment = the treatment level (1 to 9), response = the response, treatment_2 … treatment_9 = 1 when the row is at that treatment level (level 1 is the reference)

    file 7c8f87a60245f5c7467418a7725855cce71608273964966e5da954c22ad5fa57 · frame —
    1. dummies {"column":"treatment","drop_first":true,"prefix":"treatment"}
  2. 1Transformação
    d · dummies {"column":"treatment","drop_first":true,"prefix":"treatment"}
    189 → 189 linhas
    Frame antes → depois: 64a4fbf2d3f5 → 95fa0f327dad
  3. 2Ferramenta
    infer.linear_hypothesis— Teste de hipótese linear conjunta (estatística F / Wald)v0.1.0call_a301460ddecidido pelo códigoreexecutável
    Argumentos
    {
      "cluster": null,
      "dataset": "d",
      "hypothesis": "treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0",
      "se": "classical",
      "subset": null,
      "x": [
        "treatment_2",
        "treatment_3",
        "treatment_4",
        "treatment_5",
        "treatment_6",
        "treatment_7",
        "treatment_8",
        "treatment_9"
      ],
      "y": "response"
    }
    Figuras call_a301460d
    ChaveValorValor brutoErro-padrãoIC
    F
    F statistic of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
    2121.000000000776094——
    p_value
    p-value of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
    0,000000000000000000000258326probabilidade2.5832643332657163e-22——
    Diagnósticos
    • statistic = "F" (F = W/m against F(m, n − k))
    • df_numerator = 88 (number of restrictions)
    • df_denominator = 180180 (residual degrees of freedom n − k)
    • se_type = "classical" (classical (homoskedastic) standard errors)
    • n_obs = 189189
    • n_clusters = — (errors not clustered)
    Derivação matemática e pressupostos
    F
    1. Estatística de Wald das 8 restrições, com a covariância classical (homoskedastic) standard errors.→ 168 (168.00000000620875)
    2. Estatística F: a de Wald dividida pelo número de restrições.F = W / m→ 21 (21.000000000776094)
    p_value
    1. Probabilidade de uma F(8, 180) exceder a estatística observada.→ 0,000000000000000000000258326 (2.5832643332657163e-22)
    Pressupostos do estimador
    • errors are independent and have the same variance for every observation
    Tabelas (2)
    {
      "coefficients": [
        {
          "ci_high": 1000000.4430594267,
          "ci_low": 1000000.3569405733,
          "coef": 1000000.4,
          "p": 0,
          "se": 0.021821789024163773,
          "t": 45825775.27867566,
          "term": "Intercept"
        },
        {
          "ci_high": -0.03910477478089837,
          "ci_low": -0.16089522528340722,
          "coef": -0.1000000000321528,
          "p": 0.0014220432078437882,
          "se": 0.03086066999321675,
          "t": -3.2403703501619714,
          "term": "treatment_2"
        },
        {
          "ci_high": 0.16089522522797134,
          "ci_low": 0.03910477472546252,
          "coef": 0.09999999997671694,
          "p": 0.0014220432163041378,
          "se": 0.030860669993216742,
          "t": 3.2403703483656447,
          "term": "treatment_3"
        },
        {
          "ci_high": -0.039104774780898334,
          "ci_low": -0.16089522528340727,
          "coef": -0.1000000000321528,
          "p": 0.001422043207843797,
          "se": 0.030860669993216766,
          "t": -3.2403703501619696,
          "term": "treatment_4"
        },
        {
          "ci_high": 0.1608952252279714,
          "ci_low": 0.03910477472546249,
          "coef": 0.09999999997671694,
          "p": 0.0014220432163041439,
          "se": 0.030860669993216756,
          "t": 3.2403703483656434,
          "term": "treatment_5"
        },
        {
          "ci_high": -0.03910477478089833,
          "ci_low": -0.16089522528340727,
          "coef": -0.1000000000321528,
          "p": 0.0014220432078438003,
          "se": 0.03086066999321677,
          "t": -3.240370350161969,
          "term": "treatment_6"
        },
        {
          "ci_high": 0.1608952252279714,
          "ci_low": 0.03910477472546248,
          "coef": 0.09999999997671694,
          "p": 0.0014220432163041471,
          "se": 0.030860669993216763,
          "t": 3.2403703483656425,
          "term": "treatment_7"
        },
        {
          "ci_high": -0.039104774780898355,
          "ci_low": -0.16089522528340724,
          "coef": -0.1000000000321528,
          "p": 0.0014220432078437908,
          "se": 0.030860669993216756,
          "t": -3.2403703501619705,
          "term": "treatment_8"
        },
        {
          "ci_high": 0.1608952252279714,
          "ci_low": 0.03910477472546249,
          "coef": 0.09999999997671694,
          "p": 0.0014220432163041439,
          "se": 0.030860669993216756,
          "t": 3.2403703483656434,
          "term": "treatment_9"
        }
      ],
      "restrictions": [
        {
          "estimate": -0.1000000000321528,
          "hypothesized": 0,
          "restriction": "treatment_2 = 0"
        },
        {
          "estimate": 0.09999999997671694,
          "hypothesized": 0,
          "restriction": "treatment_3 = 0"
        },
        {
          "estimate": -0.1000000000321528,
          "hypothesized": 0,
          "restriction": "treatment_4 = 0"
        },
        {
          "estimate": 0.09999999997671694,
          "hypothesized": 0,
          "restriction": "treatment_5 = 0"
        },
        {
          "estimate": -0.1000000000321528,
          "hypothesized": 0,
          "restriction": "treatment_6 = 0"
        },
        {
          "estimate": 0.09999999997671694,
          "hypothesized": 0,
          "restriction": "treatment_7 = 0"
        },
        {
          "estimate": -0.1000000000321528,
          "hypothesized": 0,
          "restriction": "treatment_8 = 0"
        },
        {
          "estimate": 0.09999999997671694,
          "hypothesized": 0,
          "restriction": "treatment_9 = 0"
        }
      ]
    }
    Hashes SHA-256 e metadados de reprodução
    Digests dos dados
    d 95fa0f327dadf4c978f33bae2da0ade10e9762647c2b1010d4d0f5d9b039f63c
    sha256 do resultado
    79ad8c78de6022a24a98c7e1ff182043e65c393ad4b49fc63db12b441eab182a
  4. 3Pontuação
    #0situação da ferramentapassouobrigatóriastatus ok
  5. 4Pontuação
    #1diagnósticopassouobrigatória8 vs 8
  6. 5Pontuação
    #2diagnósticopassouobrigatória180 vs 180
  7. 6Pontuação
    #3dígitos corretos (LRE)passouobrigatóriaLRE 10.43 (min 9.0)

Épocas × verificações

Resultado de cada verificação em cada época pontuada
#0123
Época 1passoupassoupassoupassou

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

Downloads desta tarefa

Pacote da tarefa (.zip)
15,2 KB · sha256 f4906f6b81e39a982480dbd481ed6a742b5017e49f91b89fdcca19e7525e091c

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
ArquivoTamanhosha256
sources/nist_anova.smls04.f.json1,2 KB0099df50ab3624047eecdc2a05e24bb0cd3f6569bc2223440737d6aa5fd257c2
specs/nist_anova.smls04.tool.json4,6 KBa498d795a112bb7f1499c6d5879603ba1f482de9e8de63c289c32149e80ca37d
traces/nist_anova.smls04.tool.e1.a1.jsonl6,3 KB36a7b691a739e0319a2eb4bab03857a487c153828d21f6a1c53fdb96c9830082
trajectories/nist_anova.smls04.tool.e1.a1.jsonl8,8 KBabc424dc4228dc40d081d247a35a58043220a4cae6cea6a3e27e717204762af8