Pular para o conteúdo

Tarefa nist_anova.smls07.tool

nist_anovatoolT1publicépoca 1, tentativa 1Execução: 20261015T171234Z-suite-nist_anova-baseline-71784e

Veredito

falhouDecidida pela verificação 3: dígitos corretos (LRE), fora da tolerância.
LRE 4.41 (min 6.0)
Calculado pelo agente
F =21,000821.000811887800836
F statistic of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
via infer.linear_hypothesis (call_d727a03d)
Valor esperado (gabarito)
F =2121
NIST/ITL StRD, Analysis of Variance: SmLs07 (SmLs07.dat), certified values
Como foi validado
3 de 4 verificações obrigatórias aprovadas
4,413 dígitos significativos corretos (mínimo exigido: 6)

Pergunta feita ao analista

Tarefa de ferramenta: nenhuma pergunta; a especificação de referência é chamada direto.

Como o agente resolveu e como foi validado

Resumo passo a passo do que o agente executou, por que o caminho está correto e como cada verificação conferiu o resultado.

  1. 1Preparação da base de dados
    d— NIST StRD SmLs07: 189 observations; treatment = the treatment level (1 to 9), response = the response, treatment_2 … treatment_9 = 1 when the row is at that treatment level (level 1 is the reference)
    Transformação "dummies" aplicada à base "d" (189 → 189 linhas). {"column":"treatment","drop_first":true,"prefix":"treatment"}
  2. 2Chamada que gerou a resposta finalinfer.linear_hypothesis(Teste de hipótese linear conjunta (estatística F / Wald))citada na respostacoincide com a referência
    Ver chamada call_d727a03d nos detalhes
    Argumentos principais
    dataset:
    "d"
    hypothesis:
    "treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0"
    se:
    "classical"
    x:
    ["treatment_2","treatment_3","treatment_4","treatment_5","treatment_6","treatment_7","treatment_8","treatment_9"]
    y:
    "response"
    Resultado calculado
    • F = 21,0008 21.000811887800836
      F statistic of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
    • p_value = 0,000000000000000000000257908probabilidade 2.5790798902688036e-22
      p-value of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
    Diagnósticos: statistic = "F" (F = W/m against F(m, n − k)) · df_numerator = 88 (number of restrictions) · df_denominator = 180180 (residual degrees of freedom n − k) · se_type = "classical" (classical (homoskedastic) standard errors) · n_obs = 189189
  3. 3Conferência de lastro e resposta final
    • #0situação da ferramenta
      Verifica a situação de retorno da ferramenta.
    • #1diagnósticodf_numerator
      certified between-treatment df
    • #2diagnósticodf_denominator
      certified within-treatment df
    • #3dígitos corretos (LRE)F
      certified F statistic

Aprofundamento técnico para especialistas

Acesso direto às fontes primárias, tabela formal de verificações, comparação de argumentos, trajetória completa com prompts brutos e somas SHA-256.

Valores esperados e de onde vêm

nist_anova.smls07.f

Fonte
NIST/ITL StRD, Analysis of Variance: SmLs07 (SmLs07.dat), certified values
Tipo
certified
Localização
Certified Values block (lines 41-47), row 'Between Treatment F Statistic'
Trecho
Between Treatment F Statistic: 2.10000000000000E+01
Valor como publicado
2.10000000000000E+01
Valor
2121
Conferido por
fonte primária · Parsed from the certified block of the file as itl.nist.gov served it (CRLF); the pinned mirror the suite fetches has the same bytes after CRLF -> LF. Re-derived from the data with exact rational arithmetic in tests/test_suite_nist_extra.py.
sha256 da cópia lida
fd95c510aa8b3ce7f67ddd32846ccead7d9abae441790336c6fb0fcb0ae3558f (identifica a cópia lida, não um arquivo canônico)
Endereço
https://www.itl.nist.gov/div898/strd/anova/SmLs07.dat
Licença
Public domain: a work of the US Government (NIST/ITL Statistical Reference Datasets)
  • #3 dígitos corretos (LRE): 2121 · LRE >= 6.0
Especificação técnica do gabarito · Outras estatísticas da fonte primária (não pontuadas nesta versão)

NIST StRD SmLs07 certified values (500-digit arithmetic), read from the certified block (lines 41-47) of the file itl.nist.gov serves (sha256 fd95c510aa8b… CRLF, 42d492d7577e… LF); fetched from scipy/scipy@92d2a8592782ee19a1161d0bf3fc2241ba78bb63 (tag v1.14.1):scipy/stats/tests/data/nist_anova/SmLs07.dat; higher difficulty, n=189.

Outras estatísticas da fonte primária (não pontuadas nesta versão)
between_ms:
2.10000000000000E-01(sums and mean squares are not figures of infer.linear_hypothesis)
between_ss:
1.68000000000000E+00(sums and mean squares are not figures of infer.linear_hypothesis)
r_squared:
4.82758620689655E-01(not stated by infer.linear_hypothesis; infer.ols states r2 as a diagnostic, not scored in this version)
residual_sd:
1.00000000000000E-01(no tool states the residual standard deviation as a figure)
within_ms:
1.00000000000000E-02(sums and mean squares are not figures of infer.linear_hypothesis)
within_ss:
1.80000000000000E+00(sums and mean squares are not figures of infer.linear_hypothesis)

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada
0
situação da ferramenta
Verifica a situação de retorno da ferramenta.
status ok
obrigatóriapassou"ok""ok"———
1
diagnósticodf_numerator
certified between-treatment df
8 vs 8
obrigatóriapassou8888default rel 1e-6 (abs floor 1e-6)——
2
diagnósticodf_denominator
certified within-treatment df
180 vs 180
obrigatóriapassou180180180180default rel 1e-6 (abs floor 1e-6)——
3
dígitos corretos (LRE)F
certified F statistic
LRE 4.41 (min 6.0)
obrigatóriafalhou2121
Dígitos corretos (LRE)
4,4134.413
LRE >= 6.0nist_anova.smls07.f—

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

caminho de referência do item · metadata_rule

Referência: infer.linear_hypothesisChamada do agente: infer.linear_hypothesis (call_d727a03d)igual
Argumentos da referência e do agente
ArgumentoReferênciaAgente
cluster——não fixado pela referência
dataset"d""d"igual
hypothesis"treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0""treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0"igual
se"classical""classical"igual
subset——não fixado pela referência
x["treatment_2","treatment_3","treatment_4","treatment_5","treatment_6","treatment_7","treatment_8","treatment_9"]["treatment_2","treatment_3","treatment_4","treatment_5","treatment_6","treatment_7","treatment_8","treatment_9"]igual
y"response""response"igual

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

  1. 0Início

    Tarefa de ferramenta: nenhuma pergunta; a especificação de referência é chamada direto.

    d (agent)

    NIST StRD SmLs07: 189 observations; treatment = the treatment level (1 to 9), response = the response, treatment_2 … treatment_9 = 1 when the row is at that treatment level (level 1 is the reference)

    file 42d492d7577ebe456fa9a204789ea8370c844f508aa3242a8e57c1976b133890 · frame —
    1. dummies {"column":"treatment","drop_first":true,"prefix":"treatment"}
  2. 1Transformação
    d · dummies {"column":"treatment","drop_first":true,"prefix":"treatment"}
    189 → 189 linhas
    Frame antes → depois: bed24635a6f1 → 7f3bd46de9b1
  3. 2Ferramenta
    infer.linear_hypothesis— Teste de hipótese linear conjunta (estatística F / Wald)v0.1.0call_d727a03ddecidido pelo códigoreexecutável
    Argumentos
    {
      "cluster": null,
      "dataset": "d",
      "hypothesis": "treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0",
      "se": "classical",
      "subset": null,
      "x": [
        "treatment_2",
        "treatment_3",
        "treatment_4",
        "treatment_5",
        "treatment_6",
        "treatment_7",
        "treatment_8",
        "treatment_9"
      ],
      "y": "response"
    }
    Figuras call_d727a03d
    ChaveValorValor brutoErro-padrãoIC
    F
    F statistic of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
    21,000821.000811887800836——
    p_value
    p-value of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
    0,000000000000000000000257908probabilidade2.5790798902688036e-22——
    Diagnósticos
    • statistic = "F" (F = W/m against F(m, n − k))
    • df_numerator = 88 (number of restrictions)
    • df_denominator = 180180 (residual degrees of freedom n − k)
    • se_type = "classical" (classical (homoskedastic) standard errors)
    • n_obs = 189189
    • n_clusters = — (errors not clustered)
    Derivação matemática e pressupostos
    F
    1. Estatística de Wald das 8 restrições, com a covariância classical (homoskedastic) standard errors.→ 168,006 (168.0064951024067)
    2. Estatística F: a de Wald dividida pelo número de restrições.F = W / m→ 21,0008 (21.000811887800836)
    p_value
    1. Probabilidade de uma F(8, 180) exceder a estatística observada.→ 0,000000000000000000000257908 (2.5790798902688036e-22)
    Pressupostos do estimador
    • errors are independent and have the same variance for every observation
    Tabelas (2)
    {
      "coefficients": [
        {
          "ci_high": 1000000000000.4431,
          "ci_low": 1000000000000.3569,
          "coef": 1000000000000.4,
          "p": 0,
          "se": 0.021822382067116876,
          "t": 45824511592034.36,
          "term": "Intercept"
        },
        {
          "ci_high": -0.039136834478292734,
          "ci_low": -0.1609305948363018,
          "coef": -0.10003371465729725,
          "p": 0.0014173200388017876,
          "se": 0.030861508682604094,
          "t": -3.2413747391968526,
          "term": "treatment_2"
        },
        {
          "ci_high": 0.16087246611627865,
          "ci_low": 0.03907870575826962,
          "coef": 0.09997558593727413,
          "p": 0.0014261894201179305,
          "se": 0.030861508682604087,
          "t": 3.2394912045770474,
          "term": "treatment_3"
        },
        {
          "ci_high": -0.03913683447884252,
          "ci_low": -0.16093059483685163,
          "coef": -0.10003371465784708,
          "p": 0.0014173200387181495,
          "se": 0.030861508682604115,
          "t": -3.2413747392146663,
          "term": "treatment_4"
        },
        {
          "ci_high": 0.16087246611673184,
          "ci_low": 0.03907870575872275,
          "coef": 0.09997558593772729,
          "p": 0.0014261894200485947,
          "se": 0.030861508682604104,
          "t": 3.2394912045917295,
          "term": "treatment_5"
        },
        {
          "ci_high": -0.039136834478743505,
          "ci_low": -0.16093059483675265,
          "coef": -0.10003371465774807,
          "p": 0.0014173200387332132,
          "se": 0.03086150868260412,
          "t": -3.2413747392114582,
          "term": "treatment_6"
        },
        {
          "ci_high": 0.16087246611688538,
          "ci_low": 0.03907870575887628,
          "coef": 0.09997558593788083,
          "p": 0.0014261894200250991,
          "se": 0.03086150868260411,
          "t": 3.239491204596704,
          "term": "treatment_7"
        },
        {
          "ci_high": -0.039136834478419306,
          "ci_low": -0.16093059483642838,
          "coef": -0.10003371465742385,
          "p": 0.0014173200387825344,
          "se": 0.030861508682604104,
          "t": -3.2413747392009538,
          "term": "treatment_8"
        },
        {
          "ci_high": 0.16087246611641692,
          "ci_low": 0.039078705758407856,
          "coef": 0.09997558593741239,
          "p": 0.0014261894200967814,
          "se": 0.0308615086826041,
          "t": 3.239491204581526,
          "term": "treatment_9"
        }
      ],
      "restrictions": [
        {
          "estimate": -0.10003371465729725,
          "hypothesized": 0,
          "restriction": "treatment_2 = 0"
        },
        {
          "estimate": 0.09997558593727413,
          "hypothesized": 0,
          "restriction": "treatment_3 = 0"
        },
        {
          "estimate": -0.10003371465784708,
          "hypothesized": 0,
          "restriction": "treatment_4 = 0"
        },
        {
          "estimate": 0.09997558593772729,
          "hypothesized": 0,
          "restriction": "treatment_5 = 0"
        },
        {
          "estimate": -0.10003371465774807,
          "hypothesized": 0,
          "restriction": "treatment_6 = 0"
        },
        {
          "estimate": 0.09997558593788083,
          "hypothesized": 0,
          "restriction": "treatment_7 = 0"
        },
        {
          "estimate": -0.10003371465742385,
          "hypothesized": 0,
          "restriction": "treatment_8 = 0"
        },
        {
          "estimate": 0.09997558593741239,
          "hypothesized": 0,
          "restriction": "treatment_9 = 0"
        }
      ]
    }
    Hashes SHA-256 e metadados de reprodução
    Digests dos dados
    d 7f3bd46de9b1313bab65a180b11de344017798c07841a51d5b8b27dac073ba26
    sha256 do resultado
    38245de6e37981291b1660a2e1c1a0df2d5296e9fe40904ba7c967d4371875b1
  4. 3Pontuação
    #0situação da ferramentapassouobrigatóriastatus ok
  5. 4Pontuação
    #1diagnósticopassouobrigatória8 vs 8
  6. 5Pontuação
    #2diagnósticopassouobrigatória180 vs 180
  7. 6Pontuação
    #3dígitos corretos (LRE)falhouobrigatóriaLRE 4.41 (min 6.0)

Épocas × verificações

Resultado de cada verificação em cada época pontuada
#0123
Época 1passoupassoupassoufalhou

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

Downloads desta tarefa

Pacote da tarefa (.zip)
15,5 KB · sha256 d4cba6c996b94e00cc805997fc1e54d8b8fc1d4bdb87b9d04a92d35328bf83d4

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
ArquivoTamanhosha256
sources/nist_anova.smls07.f.json1,2 KB5628f56eac524a8645542e90f71e531a745fecc3dbb1edc919dd6ccf2905c6d7
specs/nist_anova.smls07.tool.json4,6 KBac8a44e39bdabdcf70f756bde87559a37917ed3ef192d05bd79be56951feef0c
traces/nist_anova.smls07.tool.e1.a1.jsonl6,3 KB22dec168ed8e630907329068d9be952ebc76bdf5528455282674c11bed70f8dc
trajectories/nist_anova.smls07.tool.e1.a1.jsonl8,9 KB6a6b198ed8bf7d427d09488451b0aebbd49d4badad42a80febae4720620da4cd