Tarefa nist_anova.smls08.tool

nist_anovatoolT1publicépoca 1, tentativa 1Execução: 20261015T171234Z-suite-nist_anova-baseline-71784e

Veredito

falhouDecidida pela verificação 3: dígitos corretos (LRE), fora da tolerância.

LRE 4.19 (min 6.0)

Calculado pelo agente

F =201,013201.01300409603695

F statistic of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0

via infer.linear_hypothesis (call_abfa05c3)

Valor esperado (gabarito)

F =201201

NIST/ITL StRD, Analysis of Variance: SmLs08 (SmLs08.dat), certified values

Como foi validado

3 de 4 verificações obrigatórias aprovadas

4,189 dígitos significativos corretos (mínimo exigido: 6)

Pergunta feita ao analista

Tarefa de ferramenta: nenhuma pergunta; a especificação de referência é chamada direto.

Como o agente resolveu e como foi validado

Resumo passo a passo do que o agente executou, por que o caminho está correto e como cada verificação conferiu o resultado.

1Preparação da base de dados
d— NIST StRD SmLs08: 1809 observations; treatment = the treatment level (1 to 9), response = the response, treatment_2 … treatment_9 = 1 when the row is at that treatment level (level 1 is the reference)
Transformação "dummies" aplicada à base "d" (1809 → 1809 linhas). {"column":"treatment","drop_first":true,"prefix":"treatment"}
2Chamada que gerou a resposta finalinfer.linear_hypothesis(Teste de hipótese linear conjunta (estatística F / Wald))citada na respostacoincide com a referência
Ver chamada call_abfa05c3 nos detalhes
Argumentos principais
dataset:
"d"
hypothesis:
"treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0"
se:
"classical"
x:
["treatment_2","treatment_3","treatment_4","treatment_5","treatment_6","treatment_7","treatment_8","treatment_9"]
y:
"response"
Resultado calculado
- F = 201,013 201.01300409603695
  F statistic of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
- p_value = 0,00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000392814probabilidade 3.9281407845069587e-243
  p-value of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0
Diagnósticos: statistic = "F" (F = W/m against F(m, n − k)) · df_numerator = 88 (number of restrictions) · df_denominator = 1.8001800 (residual degrees of freedom n − k) · se_type = "classical" (classical (homoskedastic) standard errors) · n_obs = 1.8091809
3Conferência de lastro e resposta final
- #0situação da ferramenta
  Verifica a situação de retorno da ferramenta.
- #1diagnósticodf_numerator
  certified between-treatment df
- #2diagnósticodf_denominator
  certified within-treatment df
- #3dígitos corretos (LRE)F
  certified F statistic

Aprofundamento técnico para especialistas

Acesso direto às fontes primárias, tabela formal de verificações, comparação de argumentos, trajetória completa com prompts brutos e somas SHA-256.

↓ Fontes e gabarito ↓ Tabela de verificações ↓ Argumentos (referência × agente)↓ Trajetória e prompts ↓ Pacote e SHA-256

Valores esperados e de onde vêm

nist_anova.smls08.f

Fonte: NIST/ITL StRD, Analysis of Variance: SmLs08 (SmLs08.dat), certified values
Tipo: certified
Localização: Certified Values block (lines 41-47), row 'Between Treatment F Statistic'
Trecho: Between Treatment F Statistic: 2.01000000000000E+02
Valor como publicado: 2.01000000000000E+02
Valor: 201201
Conferido por: fonte primária · Parsed from the certified block of the file as itl.nist.gov served it (CRLF); the pinned mirror the suite fetches has the same bytes after CRLF -> LF. Re-derived from the data with exact rational arithmetic in tests/test_suite_nist_extra.py.
sha256 da cópia lida: 87dd38dfffeb65d39dbe3e8ba73bd16644fc396c1aad03fc0295225f3ba6aef9 (identifica a cópia lida, não um arquivo canônico)
Endereço: https://www.itl.nist.gov/div898/strd/anova/SmLs08.dat
Licença: Public domain: a work of the US Government (NIST/ITL Statistical Reference Datasets)

#3 dígitos corretos (LRE): 201201 · LRE >= 6.0

Especificação técnica do gabarito · Outras estatísticas da fonte primária (não pontuadas nesta versão)

NIST StRD SmLs08 certified values (500-digit arithmetic), read from the certified block (lines 41-47) of the file itl.nist.gov serves (sha256 87dd38dfffeb… CRLF, aabc5043423a… LF); fetched from scipy/scipy@92d2a8592782ee19a1161d0bf3fc2241ba78bb63 (tag v1.14.1):scipy/stats/tests/data/nist_anova/SmLs08.dat; higher difficulty, n=1809.

Outras estatísticas da fonte primária (não pontuadas nesta versão)

between_ms:: 2.01000000000000E+00(sums and mean squares are not figures of infer.linear_hypothesis)
between_ss:: 1.60800000000000E+01(sums and mean squares are not figures of infer.linear_hypothesis)
r_squared:: 4.71830985915493E-01(not stated by infer.linear_hypothesis; infer.ols states r2 as a diagnostic, not scored in this version)
residual_sd:: 1.00000000000000E-01(no tool states the residual standard deviation as a figure)
within_ms:: 1.00000000000000E-02(sums and mean squares are not figures of infer.linear_hypothesis)
within_ss:: 1.80000000000000E+01(sums and mean squares are not figures of infer.linear_hypothesis)

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#	Verificação	Obrigatória	Resultado	Esperado	Observado	Tolerância	Fonte	Chamada
0	situação da ferramenta Verifica a situação de retorno da ferramenta. status ok	obrigatória	passou	`"ok"`	`"ok"`	—	—	—
1	diagnóstico`df_numerator` certified between-treatment df 8 vs 8	obrigatória	passou	8`8`	8`8`	default rel 1e-6 (abs floor 1e-6)	—	—
2	diagnóstico`df_denominator` certified within-treatment df 1800 vs 1800	obrigatória	passou	1.800`1800`	1.800`1800`	default rel 1e-6 (abs floor 1e-6)	—	—
3	dígitos corretos (LRE)`F` certified F statistic LRE 4.19 (min 6.0)	obrigatória	falhou	201`201`	Dígitos corretos (LRE) 4,189`4.189`	LRE >= 6.0	nist_anova.smls08.f	—

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

caminho de referência do item · metadata_rule

Referência: infer.linear_hypothesisChamada do agente: infer.linear_hypothesis (call_abfa05c3)igual

Argumentos da referência e do agente
Argumento	Referência	Agente
cluster	—	—	não fixado pela referência
dataset	`"d"`	`"d"`	igual
hypothesis	`"treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0"`	`"treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0"`	igual
se	`"classical"`	`"classical"`	igual
subset	—	—	não fixado pela referência
x	`["treatment_2","treatment_3","treatment_4","treatment_5","treatment_6","treatment_7","treatment_8","treatment_9"]`	`["treatment_2","treatment_3","treatment_4","treatment_5","treatment_6","treatment_7","treatment_8","treatment_9"]`	igual
y	`"response"`	`"response"`	igual

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

0Início
Tarefa de ferramenta: nenhuma pergunta; a especificação de referência é chamada direto.
d (agent)
NIST StRD SmLs08: 1809 observations; treatment = the treatment level (1 to 9), response = the response, treatment_2 … treatment_9 = 1 when the row is at that treatment level (level 1 is the reference)
file aabc5043423a82786b79fca02b04f8f31f9bcfef25683f15a67edcf359c84d18 · frame —
1. dummies {"column":"treatment","drop_first":true,"prefix":"treatment"}
1Transformação
d · dummies {"column":"treatment","drop_first":true,"prefix":"treatment"}
1809 → 1809 linhas
Frame antes → depois: 0f1bf3a4fd32 → 5bc097e5c744

2Ferramenta

infer.linear_hypothesis— Teste de hipótese linear conjunta (estatística F / Wald)v0.1.0call_abfa05c3decidido pelo códigoreexecutável

Argumentos

{
  "cluster": null,
  "dataset": "d",
  "hypothesis": "treatment_2 = 0, treatment_3 = 0, treatment_4 = 0, treatment_5 = 0, treatment_6 = 0, treatment_7 = 0, treatment_8 = 0, treatment_9 = 0",
  "se": "classical",
  "subset": null,
  "x": [
    "treatment_2",
    "treatment_3",
    "treatment_4",
    "treatment_5",
    "treatment_6",
    "treatment_7",
    "treatment_8",
    "treatment_9"
  ],
  "y": "response"
}

Figuras call_abfa05c3
Chave	Valor	Valor bruto	Erro-padrão	IC
F F statistic of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0	201,013	`201.01300409603695`	—	—
p_value p-value of treatment_2 = 0; treatment_3 = 0; treatment_4 = 0; treatment_5 = 0; treatment_6 = 0; treatment_7 = 0; treatment_8 = 0; treatment_9 = 0	0,00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000392814probabilidade	`3.9281407845069587e-243`	—	—

Diagnósticos

statistic = "F" (F = W/m against F(m, n − k))
df_numerator = 88 (number of restrictions)
df_denominator = 1.8001800 (residual degrees of freedom n − k)
se_type = "classical" (classical (homoskedastic) standard errors)
n_obs = 1.8091809
n_clusters = — (errors not clustered)

Derivação matemática e pressupostos

Estatística de Wald das 8 restrições, com a covariância classical (homoskedastic) standard errors.→ 1.608,1 (1608.1040327682956)
Estatística F: a de Wald dividida pelo número de restrições.F = W / m→ 201,013 (201.01300409603695)

p_value

Probabilidade de uma F(8, 1800) exceder a estatística observada.→ 0,00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000392814 (3.9281407845069587e-243)

Pressupostos do estimador

errors are independent and have the same variance for every observation

Tabelas (2)

{
  "coefficients": [
    {
      "ci_high": 1000000000000.4138,
      "ci_low": 1000000000000.3862,
      "coef": 1000000000000.4,
      "p": 0,
      "se": 0.007053647823123248,
      "t": 141770616435116.44,
      "term": "Intercept"
    },
    {
      "ci_high": -0.08047180693824933,
      "ci_low": -0.11960082793498393,
      "coef": -0.10003631743661663,
      "p": 4.555344230865008e-23,
      "se": 0.009975364415664423,
      "t": -10.028337138193018,
      "term": "treatment_2"
    },
    {
      "ci_high": 0.11954009643572763,
      "ci_low": 0.08041107543899301,
      "coef": 0.09997558593736032,
      "p": 4.829159421524705e-23,
      "se": 0.00997536441566443,
      "t": 10.022248989757959,
      "term": "treatment_3"
    },
    {
      "ci_high": -0.08047180693753044,
      "ci_low": -0.11960082793426453,
      "coef": -0.10003631743589748,
      "p": 4.555344234008862e-23,
      "se": 0.009975364415664295,
      "t": -10.028337138121055,
      "term": "treatment_4"
    },
    {
      "ci_high": 0.11954009643613854,
      "ci_low": 0.08041107543940461,
      "coef": 0.09997558593777157,
      "p": 4.829159419608254e-23,
      "se": 0.009975364415664255,
      "t": 10.022248989799362,
      "term": "treatment_5"
    },
    {
      "ci_high": -0.08047180693827354,
      "ci_low": -0.11960082793500791,
      "coef": -0.10003631743664072,
      "p": 4.55534423075697e-23,
      "se": 0.009975364415664366,
      "t": -10.028337138195491,
      "term": "treatment_6"
    },
    {
      "ci_high": 0.1195400964361776,
      "ci_low": 0.08041107543944329,
      "coef": 0.09997558593781045,
      "p": 4.8291594194326224e-23,
      "se": 0.009975364415664356,
      "t": 10.022248989803156,
      "term": "treatment_7"
    },
    {
      "ci_high": -0.08047180693760535,
      "ci_low": -0.11960082793433953,
      "coef": -0.10003631743597244,
      "p": 4.555344233681723e-23,
      "se": 0.00997536441566432,
      "t": -10.028337138128544,
      "term": "treatment_8"
    },
    {
      "ci_high": 0.11954009643549968,
      "ci_low": 0.08041107543876558,
      "coef": 0.09997558593713263,
      "p": 4.829159422575047e-23,
      "se": 0.009975364415664297,
      "t": 10.022248989735267,
      "term": "treatment_9"
    }
  ],
  "restrictions": [
    {
      "estimate": -0.10003631743661663,
      "hypothesized": 0,
      "restriction": "treatment_2 = 0"
    },
    {
      "estimate": 0.09997558593736032,
      "hypothesized": 0,
      "restriction": "treatment_3 = 0"
    },
    {
      "estimate": -0.10003631743589748,
      "hypothesized": 0,
      "restriction": "treatment_4 = 0"
    },
    {
      "estimate": 0.09997558593777157,
      "hypothesized": 0,
      "restriction": "treatment_5 = 0"
    },
    {
      "estimate": -0.10003631743664072,
      "hypothesized": 0,
      "restriction": "treatment_6 = 0"
    },
    {
      "estimate": 0.09997558593781045,
      "hypothesized": 0,
      "restriction": "treatment_7 = 0"
    },
    {
      "estimate": -0.10003631743597244,
      "hypothesized": 0,
      "restriction": "treatment_8 = 0"
    },
    {
      "estimate": 0.09997558593713263,
      "hypothesized": 0,
      "restriction": "treatment_9 = 0"
    }
  ]
}

Hashes SHA-256 e metadados de reprodução

Digests dos dados: d 5bc097e5c74468066edfc925a207dc8d1ae7a517bcb8d4e64a4afb9f13b4d7a9
sha256 do resultado: 3554cc95532da9949576b2158efe0cd6a4dbe87e8103e5e8f2113a388f9dba94

3Pontuação
#0situação da ferramentapassouobrigatóriastatus ok
4Pontuação
#1diagnósticopassouobrigatória8 vs 8
5Pontuação
#2diagnósticopassouobrigatória1800 vs 1800
6Pontuação
#3dígitos corretos (LRE)falhouobrigatóriaLRE 4.19 (min 6.0)

Épocas × verificações

Resultado de cada verificação em cada época pontuada
#	0	1	2	3
Época 1	passou	passou	passou	falhou

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

época 1, tentativa 1falhoupontuada(exibindo)

Downloads desta tarefa

Pacote da tarefa (.zip)

15,5 KB · sha256 0eb6d09ca8734718b062c27b62374fce621c6f8bf5b0307ae69af2ede62b9b7a

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
Arquivo	Tamanho	sha256
sources/nist_anova.smls08.f.json	1,2 KB	`eaed1f36bf86587d01263821f60819637461409770d8b1fbd599407a3d003230`
specs/nist_anova.smls08.tool.json	4,6 KB	`92973255a6fd367ea5aa426d0c96a7ac2bcffe8f2b45f5495832944b0b7de584`
traces/nist_anova.smls08.tool.e1.a1.jsonl	6,3 KB	`8cfedd59f990858eb303c22ac7738ccc01965d1d302f48ba8f34c3a18459fa18`
trajectories/nist_anova.smls08.tool.e1.a1.jsonl	8,9 KB	`e713c0f85961f718b5661ffb409353660408bc3c7f1673f433a47a93f246074c`