Design ideal - Optimal design

Gustav Elfving desenvolveu o projeto ideal de experimentos e, assim, minimizou a necessidade dos pesquisadores de medições de teodolito (foto) , enquanto estava preso em sua barraca na Groenlândia devastada pela tempestade .

No desenho de experiências , modelos ideais (ou modelos ideais ) são uma classe de modelos experimentais que estão óptimo no que diz respeito a alguns estatística critério . A criação deste campo de estatísticas foi creditada à estatística dinamarquesa Kirstine Smith .

No projeto de experimentos para estimar modelos estatísticos , os projetos ótimos permitem que os parâmetros sejam estimados sem viés e com variância mínima . Um projeto não ideal requer um número maior de execuções experimentais para estimar os parâmetros com a mesma precisão de um projeto ótimo. Em termos práticos, experimentos ótimos podem reduzir os custos de experimentação.

A otimalidade de um projeto depende do modelo estatístico e é avaliada com respeito a um critério estatístico, que está relacionado à matriz de variância do estimador. A especificação de um modelo apropriado e a especificação de uma função de critério adequada requerem compreensão da teoria estatística e conhecimento prático com o planejamento de experimentos .

Vantagens

Projetos ideais oferecem três vantagens sobre projetos experimentais abaixo do ideal :

1. Projetos ideais reduzem os custos de experimentação, permitindo que modelos estatísticos sejam estimados com menos execuções experimentais.
2. Projetos ideais podem acomodar vários tipos de fatores, como processo, mistura e fatores discretos.
3. Os projetos podem ser otimizados quando o espaço do projeto é restrito, por exemplo, quando o espaço do processo matemático contém configurações de fator que são praticamente inviáveis ​​(por exemplo, devido a questões de segurança).

Minimizando a variância dos estimadores

Projetos experimentais são avaliados usando critérios estatísticos.

Sabe-se que o dos mínimos quadrados estimador minimiza a variação da média - imparcial estimadores (sob as condições do teorema de Gauss-Markov ). Na teoria de estimação para modelos estatísticos com um parâmetro real , o recíproco da variância de um estimador ( "eficiente" ) é chamado de " informação de Fisher " para esse estimador. Por causa dessa reciprocidade, minimizar a variância corresponde a maximizar a informação .

Quando o modelo estatístico possui vários parâmetros , entretanto, a média do estimador de parâmetros é um vetor e sua variância é uma matriz . A matriz inversa da matriz de variância é chamada de "matriz de informação". Como a variância do estimador de um vetor de parâmetros é uma matriz, o problema de "minimizar a variância" é complicado. Usando a teoria estatística , os estatísticos comprimem a matriz de informações usando estatísticas de resumo com valor real ; sendo funções com valor real, esses "critérios de informação" podem ser maximizados. Os critérios de otimalidade tradicionais são invariantes da matriz de informação ; algebricamente, os critérios de otimalidade tradicionais são funcionais dos autovalores da matriz de informação.

• A -otimalidade (" média " ou traço )
  • Um dos critérios é a otimização A , que visa minimizar o traço do inverso da matriz de informação. Este critério resulta na minimização da variância média das estimativas dos coeficientes de regressão.
• C- otimalidade
  • Este critério minimiza a variância de um melhor estimador linear não enviesado de uma combinação linear predeterminada de parâmetros do modelo.
• D- otimalidade ( determinante )
  • Um critério popular é D-otimalidade , que busca minimizar | (X'X) ⁻¹ |, ou equivalentemente maximizar o determinante da matriz de informação X'X do projeto. Este critério resulta na maximização do conteúdo de informação diferencial de Shannon das estimativas dos parâmetros.
• E- otimalidade ( autovalor )
  • Outro projeto é E-otimalidade , que maximiza o autovalor mínimo da matriz de informação.
• T- otimalidade
  • Este critério maximiza o traçado da matriz de informação.

Outros critérios de otimalidade estão preocupados com a variância das previsões :

• G- otimalidade
  • Um critério popular é a otimização G , que visa minimizar a entrada máxima na diagonal da matriz hat X (X'X) ⁻¹ X '. Isso tem o efeito de minimizar a variação máxima dos valores previstos.
• I -optimalidade ( integrado )
  • Um segundo critério de variância de predição é I-otimalidade , que visa minimizar a variância de predição média sobre o espaço de projeto .
• V -otimalidade ( variância )
  • Um terceiro critério de variância de predição é V-otimalidade , que visa minimizar a variância de predição média em um conjunto de m pontos específicos.

Contrastes

Em muitas aplicações, o estatístico está mais preocupado com um "parâmetro de interesse" do que com "parâmetros incômodos" . De maneira mais geral, os estatísticos consideram combinações lineares de parâmetros, que são estimados por meio de combinações lineares de médias de tratamento no planejamento de experimentos e na análise de variância ; essas combinações lineares são chamadas de contrastes . Os estatísticos podem usar critérios de otimização apropriados para tais parâmetros de interesse e para contrastes .

Implementação

Os catálogos de projetos ideais ocorrem em livros e em bibliotecas de software.

Além disso, os principais sistemas estatísticos como SAS e R têm procedimentos para otimizar um projeto de acordo com as especificações do usuário. O experimentador deve especificar um modelo para o projeto e um critério de otimalidade antes que o método possa calcular um projeto ótimo.

Considerações práticas

Alguns tópicos avançados em design otimizado requerem mais teoria estatística e conhecimento prático na criação de experimentos.

Dependência e robustez do modelo

Uma vez que o critério de otimalidade da maioria dos projetos ótimos é baseado em alguma função da matriz de informação, a 'otimização' de um determinado projeto é dependente do modelo : Embora um projeto ótimo seja melhor para aquele modelo , seu desempenho pode se deteriorar em outros modelos . Em outros modelos , um design ideal pode ser melhor ou pior do que um design não ideal. Portanto, é importante avaliar o desempenho de projetos em modelos alternativos .

Escolhendo um critério de otimalidade e robustez

A escolha de um critério de otimalidade apropriado requer alguma reflexão, e é útil avaliar o desempenho de projetos com respeito a vários critérios de otimalidade. Cornell escreve que

desde os critérios de [otimalidade tradicional]. . . são critérios de minimização de variância,. . . um design que é ideal para um determinado modelo usando um dos. . . O critério é geralmente quase ótimo para o mesmo modelo em relação aos outros critérios.

- 

Na verdade, existem várias classes de projetos para os quais todos os critérios de otimização tradicionais concordam, de acordo com a teoria da "otimização universal" de Kiefer . A experiência de profissionais como Cornell e a teoria da "otimização universal" de Kiefer sugerem que a robustez com respeito a mudanças no critério de otimalidade é muito maior do que a robustez com respeito a mudanças no modelo .

Critérios de otimização flexível e análise convexa

O software estatístico de alta qualidade fornece uma combinação de bibliotecas de projetos ideais ou métodos iterativos para construir projetos aproximadamente ótimos, dependendo do modelo especificado e do critério de otimização. Os usuários podem usar um critério padrão de otimização ou programar um critério personalizado.

Todos os critérios de otimalidade tradicionais são funções convexas (ou côncavas) e, portanto, projetos ótimos são receptivos à teoria matemática da análise convexa e seu cálculo pode usar métodos especializados de minimização convexa . O profissional não precisa selecionar exatamente um critério de otimização tradicional, mas pode especificar um critério personalizado. Em particular, o praticante pode especificar um critério convexo usando os máximos de critérios de otimalidade convexa e combinações não negativas de critérios de otimalidade (uma vez que essas operações preservam funções convexas ). Para critérios de otimalidade convexa , o teorema da equivalência de Kiefer - Wolfowitz permite ao praticante verificar se um determinado projeto é globalmente ótimo. O teorema da equivalência de Kiefer - Wolfowitz está relacionado com a conjugação de Legendre - Fenchel para funções convexas .

Se um critério de otimalidade carece de convexidade , então encontrar um ótimo global e verificar sua otimalidade geralmente é difícil.

Incerteza do modelo e abordagens bayesianas

Seleção de modelo

Quando os cientistas desejam testar várias teorias, um estatístico pode projetar um experimento que permita testes ideais entre modelos especificados. Esses "experimentos de discriminação" são especialmente importantes na bioestatística que apóia a farmacocinética e a farmacodinâmica , seguindo o trabalho de Cox e Atkinson.

Desenho experimental bayesiano

Quando os profissionais precisam considerar vários modelos , eles podem especificar uma medida de probabilidade nos modelos e, em seguida, selecionar qualquer projeto que maximize o valor esperado de tal experimento. Esses projetos ótimos baseados em probabilidade são chamados de projetos Bayesianos ótimos . Tais projetos Bayesianos são usados ​​especialmente para modelos lineares generalizados (onde a resposta segue uma distribuição de família exponencial ).

O uso de um design bayesiano não força os estatísticos a usar métodos bayesianos para analisar os dados, no entanto. De fato, o rótulo "bayesiano" para projetos experimentais baseados em probabilidade não é apreciado por alguns pesquisadores. A terminologia alternativa para a otimização "Bayesiana" inclui a otimização "na média" ou a otimização da "população".

Experimentação iterativa

A experimentação científica é um processo iterativo, e os estatísticos desenvolveram várias abordagens para o projeto ideal de experimentos sequenciais.

Análise sequencial

A análise sequencial foi iniciada por Abraham Wald . Em 1972, Herman Chernoff escreveu uma visão geral dos designs sequenciais ideais, enquanto os designs adaptativos foram pesquisados ​​posteriormente por S. Zacks. Obviamente, muitos trabalhos sobre o projeto ótimo de experimentos estão relacionados à teoria das decisões ótimas , especialmente a teoria da decisão estatística de Abraham Wald .

Metodologia de superfície de resposta

Projetos ideais para modelos de superfície de resposta são discutidos no livro de Atkinson, Donev e Tobias, e na pesquisa de Gaffke e Heiligers e no texto matemático de Pukelsheim. O bloqueio de designs ótimos é discutido no livro de Atkinson, Donev e Tobias e também na monografia de Goos.

Os primeiros projetos ótimos foram desenvolvidos para estimar os parâmetros dos modelos de regressão com variáveis ​​contínuas, por exemplo, por JD Gergonne em 1815 (Stigler). Em inglês, duas primeiras contribuições foram feitas por Charles S. Peirce e Kirstine Smith .

Projetos pioneiros para superfícies de resposta multivariadas foram propostos por George EP Box . No entanto, os projetos de Box têm poucas propriedades de otimização. Na verdade, o projeto Box-Behnken requer execuções experimentais excessivas quando o número de variáveis ​​excede três. Os projetos de "composição central" da Box requerem mais execuções experimentais do que os projetos ótimos de Kôno.

Identificação do sistema e aproximação estocástica

A otimização da experimentação sequencial é estudada também na programação estocástica e em sistemas e controle . Os métodos populares incluem aproximação estocástica e outros métodos de otimização estocástica . Muitas dessas pesquisas foram associadas à subdisciplina da identificação de sistemas . No controle computacional ótimo , D. Judin & A. Nemirovskii e Boris Polyak descreveram métodos que são mais eficientes do que as regras de tamanho de etapa ( estilo Armijo ) introduzidas pela GEP Box na metodologia de superfície de resposta .

Os designs adaptativos são usados ​​em ensaios clínicos e os designs adaptativos ideais são pesquisados ​​no capítulo Handbook of Experimental Designs de Shelemyahu Zacks.

Especificando o número de execuções experimentais

Usando um computador para encontrar um bom design

Existem vários métodos para encontrar um design ideal, dada uma restrição a priori no número de execuções experimentais ou replicações. Alguns desses métodos são discutidos por Atkinson, Donev e Tobias e no artigo por Hardin e Sloane . Claro, fixar o número de execuções experimentais a priori seria impraticável. Estatísticos prudentes examinam os outros designs ótimos, cujo número de execuções experimentais difere.

Discretizando projetos de medida de probabilidade

Na teoria matemática sobre experimentos ideais, um projeto ideal pode ser uma medida de probabilidade que é apoiada em um conjunto infinito de observação em locais. Esses projetos de medida de probabilidade ideal resolvem um problema matemático que negligencia a especificação do custo das observações e execuções experimentais. No entanto, tais designs de medida de probabilidade ideais podem ser discretizados para fornecer designs aproximadamente ótimos.

Em alguns casos, um conjunto finito de locais de observação é suficiente para apoiar um projeto ideal. Tal resultado foi comprovado por Kôno e Kiefer em seus trabalhos sobre projetos de superfícies de resposta para modelos quadráticos. A análise Kôno-Kiefer explica por que projetos ideais para superfícies de resposta podem ter suportes discretos, que são muito semelhantes aos projetos menos eficientes que são tradicionais na metodologia de superfície de resposta .

História

Em 1815, um artigo sobre designs ideais para regressão polinomial foi publicado por Joseph Diaz Gergonne , de acordo com Stigler .

Charles S. Peirce propôs uma teoria econômica da experimentação científica em 1876, que buscava maximizar a precisão das estimativas. A alocação ótima de Peirce imediatamente melhorou a precisão dos experimentos gravitacionais e foi usada por décadas por Peirce e seus colegas. Em sua palestra publicada em 1882 na Universidade Johns Hopkins , Peirce introduziu o design experimental com estas palavras:

A lógica não se encarregará de informá-lo que tipo de experimentos você deve fazer para melhor determinar a aceleração da gravidade ou o valor do Ohm; mas vai lhe dizer como proceder para formar um plano de experimentação.

[....] Infelizmente, a prática geralmente precede a teoria, e é o destino usual da humanidade fazer as coisas de uma maneira incompreensível primeiro e descobrir depois como elas poderiam ter sido feitas com muito mais facilidade e perfeição.

Kirstine Smith propôs designs ótimos para modelos polinomiais em 1918. (Kirstine Smith foi aluna do estatístico dinamarquês Thorvald N. Thiele e estava trabalhando com Karl Pearson em Londres.)

Veja também

Notas

Referências

• Atkinson, AC; Donev, AN; Tobias, RD (2007). Projetos experimentais ótimos, com SAS. Oxford University Press . pp. 511 + xvi. ISBN 978-0-19-929660-6.
• Chernoff, Herman (1972). Análise sequencial e design ideal . Society for Industrial and Applied Mathematics. ISBN 978-0-89871-006-9.
• Fedorov, VV (1972). Teoria dos experimentos ótimos . Academic Press.
• Fedorov, Valerii V .; Hackl, Peter (1997). Projeto de experimentos orientado a modelos . Notas de aula em estatística. 125 . Springer-Verlag.
• Goos, Peter (2002). O projeto ideal de experimentos bloqueados e divididos . Notas de aula em estatística . 164 . Springer.
• Kiefer, Jack Carl (1985). Marrom ; Olkin, Ingram ; Sacks, Jerome ; et al. (eds.). Jack Carl Kiefer: Artigos coletados III - Projeto de experimentos . Springer-Verlag e o Instituto de Estatística Matemática. pp. 718 + xxv. ISBN 978-0-387-96004-3.
• Logothetis, N .; Wynn, H. P. (1989). Qualidade através do design: design experimental, controle de qualidade off-line e contribuições de Taguchi . Oxford U. P. pp. 464 + xi. ISBN 978-0-19-851993-5.
• Nordström, Kenneth (maio de 1999). "A vida e obra de Gustav Elfving" . Ciência Estatística . 14 (2): 174–196. doi : 10.1214 / ss / 1009212244 . JSTOR  2676737 . MR  1722074 .
• Pukelsheim, Friedrich (2006). Desenho ideal de experimentos . Clássicos em Matemática Aplicada. 50 (republicação com lista de erratas e novo prefácio de Wiley (0-471-61971-X) 1993 ed.). Society for Industrial and Applied Mathematics . pp. 454 + xxxii. ISBN 978-0-89871-604-7.
• Shah, Kirti R. & Sinha, Bikas K. (1989). Teoria dos Projetos Ótimos . Notas de aula em estatística . 54 . Springer-Verlag. pp. 171 + viii. ISBN 978-0-387-96991-6.

Leitura adicional

Livros didáticos para profissionais e alunos

Livros didáticos enfatizando regressão e metodologia de superfície de resposta

O livro de Atkinson, Donev e Tobias tem sido usado para cursos de curta duração para profissionais da indústria, bem como cursos universitários.

• Atkinson, AC; Donev, AN; Tobias, RD (2007). Projetos experimentais ótimos, com SAS. Imprensa da Universidade de Oxford. pp. 511 + xvi. ISBN 978-0-19-929660-6.
• Logothetis, N .; Wynn, HP (1989). Qualidade através do design: design experimental, controle de qualidade off-line e contribuições de Taguchi . Oxford UP págs. 464 + xi. ISBN 978-0-19-851993-5.

Livros didáticos enfatizando designs de blocos

Optimal delineamento em blocos são discutidos por Bailey e por Bapat. O primeiro capítulo do livro de Bapat analisa a álgebra linear usada por Bailey (ou os livros avançados abaixo). Os exercícios de Bailey e a discussão da randomização enfatizam conceitos estatísticos (ao invés de cálculos algébricos).

• Bailey, RA (2008). Projeto de experimentos comparativos . Cambridge UP ISBN 978-0-521-68357-9.Rascunho disponível on-line. (Especialmente Capítulo 11.8 "Otimização")
• Bapat, RB (2000). Linear Algebra and Linear Models (segunda ed.). Springer. ISBN 978-0-387-98871-9. (Capítulo 5 "Projetos de blocos e otimização", páginas 99-111)

Optimal delineamento em blocos são discutidos na monografia avançada por Shah e Sinha e nas pesquisa de artigos de Cheng e por Majumdar.

Livros para estatísticos profissionais e pesquisadores

• Chernoff, Herman (1972). Análise sequencial e design ótimo . SIAM . ISBN 978-0-89871-006-9.
• Fedorov, VV (1972). Teoria dos experimentos ótimos . Academic Press.
• Fedorov, Valerii V .; Hackl, Peter (1997). Projeto de experimentos orientado a modelos . 125 . Springer-Verlag.
• Goos, Peter (2002). O projeto ideal de experimentos bloqueados e divididos . 164 . Springer.
• Goos, Peter & Jones, Bradley (2011). Projeto ótimo de experimentos: uma abordagem de estudo de caso . Chichester Wiley. p. 304. ISBN 978-0-470-74461-1.
• Kiefer, Jack Carl . (1985). Brown, Lawrence D .; Olkin, Ingram ; Jerome Sacks; Wynn, Henry P (eds.). Jack Carl Kiefer Collected Papers III Design of Experiments . Springer-Verlag e o Instituto de Estatística Matemática . ISBN 978-0-387-96004-3.
• Pukelsheim, Friedrich (2006). Projeto ideal de experimentos . 50 . Society for Industrial and Applied Mathematics . ISBN 978-0-89871-604-7. Republicação com lista de erratas e novo prefácio de Wiley (0-471-61971-X) 1993
• Shah, Kirti R. & Sinha, Bikas K. (1989). Teoria dos Projetos Ótimos . 54 . Springer-Verlag. ISBN 978-0-387-96991-6.

Artigos e capítulos

• Chaloner, Kathryn & Verdinelli, Isabella (1995). "Design Experimental Bayesiano: Uma Revisão" . Ciência Estatística . 10 (3): 273–304. CiteSeerX  10.1.1.29.5355 . doi : 10.1214 / ss / 1177009939 .
• Ghosh, S .; Rao, CR , eds. (1996). Projeto e análise de experimentos . Manual de estatísticas. 13 . Holanda do Norte. ISBN 978-0-444-82061-7.
  • " Model Robust Designs". Projeto e análise de experimentos . Manual de estatísticas. pp. 1055–1099.
  • Cheng, C.-S. "Projeto Ótimo: Teoria Exata". Projeto e análise de experimentos . Manual de estatísticas. pp. 977–1006.
  • DasGupta, A. "Review of Optimal Bayesian Designs ". Projeto e análise de experimentos . Manual de estatísticas. pp. 1099–1148.
  • Gaffke, N. & Heiligers, B. "Approximate Designs for Polynomial Regression : Invariance , Admissibility , and Optimality". Projeto e análise de experimentos . Manual de estatísticas. pp. 1149–1199.
  • Majumdar, D. "Optimal and Efficient Treatment-Control Designs". Projeto e análise de experimentos . Manual de estatísticas. pp. 1007–1054.
  • Stufken, J. "Optimal Crossover Designs ". Projeto e análise de experimentos . Manual de estatísticas. pp. 63–90.
  • Zacks, S. "Adaptive Designs for Parametric Models". Projeto e análise de experimentos . Manual de estatísticas. pp. 151–180.
• Kôno, Kazumasa (1962). "Projetos ideais para regressão quadrática em k- cubo" (PDF) . Memórias da Faculdade de Ciências. Universidade de Kyushu. Série A. Matemática . 16 (2): 114–122. doi : 10.2206 / kyushumfs.16.114 .

Histórico

• Gergonne, JD (novembro de 1974) [1815]. “A aplicação do método dos mínimos quadrados à interpolação de sequências” . Historia Mathematica (traduzido por Ralph St. John e SM Stigler da edição francesa de 1815). 1 (4): 439–447. doi : 10.1016 / 0315-0860 (74) 90034-2 .
• Stigler, Stephen M. (novembro de 1974). "Artigo de Gergonne de 1815 sobre o projeto e análise de experimentos de regressão polinomial" . Historia Mathematica . 1 (4): 431–439. doi : 10.1016 / 0315-0860 (74) 90033-0 .
• Peirce, C. S (1876). “Nota sobre a Teoria da Economia da Pesquisa”. Relatório de pesquisa costeira : 197–201.(Apêndice No. 14). NOAA PDF Eprint . Reimpresso em Collected Papers of Charles Sanders Peirce . 7 . 1958.parágrafos 139-157, e em Peirce, CS (julho-agosto de 1967). “Nota sobre a Teoria da Economia da Pesquisa”. Pesquisa Operacional . 15 (4): 643–648. doi : 10.1287 / opre.15.4.643 . JSTOR  168276 .
• Smith, Kirstine (1918). "Sobre os desvios padrão de valores ajustados e interpolados de uma função polinomial observada e suas constantes e a orientação que eles fornecem para uma escolha adequada da distribuição das observações" . Biometrika . 12 (1/2): 1-85. doi : 10.2307 / 2331929 . JSTOR  2331929 .