Recuperação de informação - Information retrieval

Ciência da Informação
Aspectos gerais
Campos e subcampos relacionados

Recuperação de informação ( IR ) é o processo de obtenção de recursos do sistema de informação que são relevantes para uma necessidade de informação de uma coleção desses recursos. As pesquisas podem ser baseadas em texto completo ou outra indexação baseada em conteúdo. Recuperação de informação é a ciência de pesquisar informações em um documento, pesquisar os próprios documentos e também pesquisar os metadados que descrevem os dados e bancos de dados de textos, imagens ou sons.

Os sistemas automatizados de recuperação de informações são usados ​​para reduzir o que foi chamado de sobrecarga de informações . Um sistema IR é um sistema de software que fornece acesso a livros, periódicos e outros documentos; armazena e gerencia esses documentos. Os mecanismos de pesquisa da Web são os aplicativos de IR mais visíveis.

Visão geral

Um processo de recuperação de informações começa quando um usuário insere uma consulta no sistema. As consultas são declarações formais das necessidades de informação, por exemplo, cadeias de caracteres de pesquisa em motores de pesquisa na web. Na recuperação de informações, uma consulta não identifica exclusivamente um único objeto na coleção. Em vez disso, vários objetos podem corresponder à consulta, talvez com diferentes graus de relevância .

Um objeto é uma entidade representada por informações em uma coleção de conteúdo ou banco de dados . As consultas do usuário são comparadas às informações do banco de dados. No entanto, ao contrário das consultas SQL clássicas de um banco de dados, na recuperação de informações os resultados retornados podem ou não corresponder à consulta, portanto, os resultados são normalmente classificados. Essa classificação de resultados é uma diferença fundamental da pesquisa de recuperação de informações em comparação com a pesquisa de banco de dados.

Dependendo da aplicação, os objetos de dados podem ser, por exemplo, documentos de texto, imagens, áudio, mapas mentais ou vídeos. Freqüentemente, os próprios documentos não são mantidos ou armazenados diretamente no sistema de RI, mas, em vez disso, são representados no sistema por substitutos de documentos ou metadados .

A maioria dos sistemas IR calcula uma pontuação numérica de quão bem cada objeto no banco de dados corresponde à consulta e classifica os objetos de acordo com esse valor. Os objetos de melhor classificação são então mostrados ao usuário. O processo pode então ser iterado se o usuário desejar refinar a consulta.

História

existe ... uma máquina chamada Univac ... por meio da qual letras e números são codificados como um padrão de pontos magnéticos em uma longa fita de aço. Por este meio, o texto de um documento, precedido por seu símbolo de código de assunto, pode ser gravado ... a máquina ... seleciona e digita automaticamente as referências que foram codificadas de qualquer maneira desejada a uma taxa de 120 palavras por minuto

-  JE Holmstrom, 1948

A ideia de usar computadores para pesquisar informações relevantes foi popularizada no artigo As We May Think de Vannevar Bush em 1945. Parece que Bush foi inspirado por patentes de uma 'máquina estatística' - registradas por Emanuel Goldberg na década de 1920 e anos 30 - que procurava documentos armazenados em filme. A primeira descrição de um computador em busca de informações foi descrita por Holmstrom em 1948, detalhando uma menção anterior ao computador Univac . Os sistemas automatizados de recuperação de informações foram introduzidos na década de 1950: um deles até apareceu na comédia romântica de 1957, Desk Set . Na década de 1960, o primeiro grande grupo de pesquisa em recuperação de informação foi formado por Gerard Salton em Cornell. Na década de 1970, várias técnicas de recuperação diferentes mostraram um bom desempenho em pequenos corpora de texto , como a coleção Cranfield (vários milhares de documentos). Sistemas de recuperação em grande escala, como o sistema Lockheed Dialog, entraram em uso no início da década de 1970.

Em 1992, o Departamento de Defesa dos EUA, juntamente com o Instituto Nacional de Padrões e Tecnologia (NIST), co-patrocinou a Conferência de Recuperação de Texto (TREC) como parte do programa de texto TIPSTER. O objetivo era examinar a comunidade de recuperação de informação, fornecendo a infraestrutura necessária para a avaliação de metodologias de recuperação de texto em uma coleção de texto muito grande. Isso catalisou a pesquisa sobre métodos que se expandem para grandes corpora. A introdução de motores de busca na web aumentou ainda mais a necessidade de sistemas de recuperação em grande escala.

Formulários

As áreas onde as técnicas de recuperação de informações são empregadas incluem (as entradas estão em ordem alfabética dentro de cada categoria):

Aplicações gerais

Aplicativos específicos de domínio

Outros métodos de recuperação

Métodos / técnicas em que as técnicas de recuperação de informação são empregadas incluem:

Tipos de modelo

Categorização de modelos de IR (traduzido da entrada em alemão , fonte original Dominik Kuropka ).

Para recuperar documentos relevantes de forma eficaz por meio de estratégias de RI, os documentos são normalmente transformados em uma representação adequada. Cada estratégia de recuperação incorpora um modelo específico para fins de representação de documentos. A imagem à direita ilustra a relação de alguns modelos comuns. Na foto, os modelos são categorizados de acordo com duas dimensões: a base matemática e as propriedades do modelo.

Primeira dimensão: base matemática

Segunda dimensão: propriedades do modelo

  • Modelos sem interdependências de termos tratam diferentes termos / palavras como independentes. Este fato é geralmente representado em modelos de espaço vetorial pela suposição de ortogonalidade de vetores de termos ou em modelos probabilísticos por uma suposição de independência para variáveis ​​de termos.
  • Modelos com interdependências de termos imanentes permitem uma representação das interdependências entre os termos. No entanto, o grau de interdependência entre dois termos é definido pelo próprio modelo. Geralmente é derivado direta ou indiretamente (por exemplo, por redução dimensional ) da coocorrência desses termos em todo o conjunto de documentos.
  • Modelos com interdependências de termos transcendentes permitem uma representação das interdependências entre os termos, mas não alegam como a interdependência entre dois termos é definida. Eles contam com uma fonte externa para o grau de interdependência entre dois termos. (Por exemplo, um algoritmo humano ou sofisticado.)

Medidas de desempenho e correção

Artigo principal: Medidas de avaliação (recuperação de informação)

A avaliação de um sistema de recuperação de informação é o processo de avaliar o quão bem um sistema atende às necessidades de informação de seus usuários. Em geral, a medição considera uma coleção de documentos a serem pesquisados ​​e uma consulta de pesquisa. As métricas de avaliação tradicionais, projetadas para recuperação booleana ou recuperação top-k, incluem precisão e recuperação . Todas as medidas pressupõem uma noção de verdade de base de relevância: todo documento é conhecido por ser relevante ou não relevante para uma consulta específica. Na prática, as perguntas podem ser mal colocadas e pode haver diferentes tons de relevância.

Linha do tempo

  • Antes de 1900
    1801 : Joseph Marie Jacquard inventa o tear Jacquard , a primeira máquina a usar cartões perfurados para controlar uma sequência de operações.
    Década de 1880 : Herman Hollerith inventa um tabulador de dados eletromecânico usando cartões perfurados como meio legível por máquina.
    Cartões Hollerith de 1890 , keypunches e tabuladores usados ​​para processar os dados do Censo de 1890 dos EUA .
  • 1920-1930
    Emanuel Goldberg apresenta patentes para sua "Máquina Estatística", um mecanismo de busca de documentos que usava células fotoelétricas e reconhecimento de padrões para pesquisar os metadados em rolos de documentos microfilmados.
  • Décadas de 1940 a 1950
    final dos anos 1940 : Os militares dos EUA enfrentaram problemas de indexação e recuperação de documentos de pesquisa científica do tempo de guerra capturados dos alemães.
    1945 : Vannevar Bush é como nós podemos pensar apareceu em Atlantic Monthly .
    1947 : Hans Peter Luhn (engenheiro de pesquisa na IBM desde 1941) começou a trabalhar em um sistema mecanizado baseado em cartão perfurado para pesquisa de compostos químicos.
    1950 : A crescente preocupação nos Estados Unidos por uma "lacuna científica" com a URSS motivou, incentivou o financiamento e forneceu um pano de fundo para sistemas mecanizados de busca de literatura ( Allen Kent et al. ) E a invenção do índice de citações por Eugene Garfield .
    1950 : O termo "recuperação de informação" foi cunhado por Calvin Mooers .
    1951 : Philip Bagley conduziu o primeiro experimento em recuperação computadorizada de documentos em uma tese de mestrado no MIT .
    1955 : Allen Kent ingressou na Case Western Reserve University e, finalmente, tornou-se diretor associado do Centro de Pesquisa de Documentação e Comunicação. Nesse mesmo ano, Kent e colegas publicaram um artigo na American Documentation descrevendo as medidas de precisão e recall, bem como detalhando uma "estrutura" proposta para avaliar um sistema de IR que incluía métodos de amostragem estatística para determinar o número de documentos relevantes não recuperados.
    1958 : Conferência Internacional sobre Informação Científica Washington DC incluiu a consideração de sistemas IR como uma solução para os problemas identificados. Ver: Proceedings of the International Conference on Scientific Information, 1958 (National Academy of Sciences, Washington, DC, 1959)
    1959 : Hans Peter Luhn publicou "Codificação automática de documentos para recuperação de informações".
  • 1960 :
    início dos anos 1960 : Gerard Salton começou a trabalhar com RI em Harvard, mais tarde mudou-se para Cornell.
    1960 : Melvin Earl Maron e John Lary Kuhns publicaram "Sobre relevância, indexação probabilística e recuperação de informação" no Journal of the ACM 7 (3): 216–244, julho de 1960.
    1962 :
    • Cyril W. Cleverdon publicou as primeiras descobertas dos estudos de Cranfield, desenvolvendo um modelo para avaliação do sistema IR. Veja: Cyril W. Cleverdon, "Relatório sobre o Teste e Análise de uma Investigação na Eficiência Comparativa dos Sistemas de Indexação". Cranfield Collection of Aeronautics, Cranfield, England, 1962.
    • Kent publicou Information Analysis and Retrieval .
    1963 :
    • O relatório de Weinberg "Ciência, Governo e Informação" deu uma articulação completa da ideia de uma "crise da informação científica". O relatório foi nomeado em homenagem ao Dr. Alvin Weinberg .
    • Joseph Becker e Robert M. Hayes publicaram texto sobre recuperação de informações. Becker, Joseph; Hayes, Robert Mayo. Armazenamento e recuperação de informação: ferramentas, elementos, teorias . Nova York, Wiley (1963).
    1964 :
    • Karen Spärck Jones terminou sua tese em Cambridge, Synonymy and Semantic Classification , e continuou a trabalhar em linguística computacional no que se refere a IR.
    • O National Bureau of Standards patrocinou um simpósio intitulado "Métodos de associação estatística para documentação mecanizada". Vários artigos altamente significativos, incluindo a primeira referência publicada de G. Salton (acreditamos) ao sistema SMART .
    meados da década de 1960 :
    • A National Library of Medicine desenvolveu o MEDLARS Medical Literature Analysis and Retrieval System, o primeiro grande banco de dados legível por máquina e sistema de recuperação de lote.
    • Projeto Intrex no MIT.
    1965 : JCR Licklider publicou Bibliotecas do Futuro .
    1966 : Don Swanson esteve envolvido em estudos na Universidade de Chicago sobre Requisitos para Catálogos Futuros.
    final dos anos 1960 : F. Wilfrid Lancaster concluiu os estudos de avaliação do sistema MEDLARS e publicou a primeira edição de seu texto sobre recuperação de informações.
    1968 :
    • Gerard Salton publicou Automatic Information Organization and Retrieval .
    • O relatório RADC Tech de John W. Sammon, Jr. "Some Mathematics of Information Storage and Retrieval ..." delineou o modelo vetorial.
    1969 : Sammon's " Um mapeamento não linear para análise de estrutura de dados " (IEEE Transactions on Computers) foi a primeira proposta de interface de visualização para um sistema IR.
  • Década de 1970
    início dos anos 1970 :
    • Primeiros sistemas online - NLM's AIM-TWX, MEDLINE; Diálogo de Lockheed; ORBIT da SDC.
    • Theodor Nelson promovendo o conceito de hipertexto , publicou Computer Lib / Dream Machines .
    1971 : Nicholas Jardine e Cornelis J. van Rijsbergen publicaram "O uso de agrupamento hierárquico na recuperação de informação", que articulou a "hipótese de agrupamento".
    1975 : Três publicações altamente influentes de Salton articularam totalmente sua estrutura de processamento vetorial e modelo de discriminação de termos :
    • A Theory of Indexing (Society for Industrial and Applied Mathematics)
    • Uma Teoria da Importância do Termo na Análise Automática de Texto ( JASIS v. 26)
    • Um modelo de espaço vetorial para indexação automática ( CACM 18:11)
    1978 : A primeira conferência ACM SIGIR .
    1979 : CJ van Rijsbergen publicou Information Retrieval (Butterworths). Forte ênfase em modelos probabilísticos.
    1979 : Tamas Doszkocs implementou a interface de usuário em linguagem natural CITE para MEDLINE na National Library of Medicine. O sistema CITE dava suporte para a entrada de consulta de forma livre, saída classificada e feedback de relevância.
  • Década de 1980
    1980 : Primeira conferência internacional ACM SIGIR, em conjunto com o grupo IR da British Computer Society em Cambridge.
    1982 : Nicholas J. Belkin , Robert N. Oddy e Helen M. Brooks propuseram o ponto de vista ASK (Estado Anômalo do Conhecimento) para recuperação de informações. Este foi um conceito importante, embora sua ferramenta de análise automatizada tenha se mostrado decepcionante.
    1983 : Salton (e Michael J. McGill) publicou a Introdução à Recuperação de Informação Moderna (McGraw-Hill), com grande ênfase em modelos vetoriais.
    1985 : David Blair e Bill Maron publicam: Uma avaliação da eficácia da recuperação para um sistema de recuperação de documentos de texto completo
    meados da década de 1980 : Esforços para desenvolver versões para o usuário final de sistemas comerciais de RI.
    1985–1993 : Artigos importantes sobre e sistemas experimentais para interfaces de visualização.
    Trabalho de Donald B. Crouch , Robert R. Korfhage , Matthew Chalmers, Anselm Spoerri e outros.
    1989 : primeiras propostas da World Wide Web por Tim Berners-Lee no CERN .
  • Década de 1990
    1992 : Primeira conferência TREC .
    1997 : Publicação do KORFHAGE de Armazenamento e Recuperação da Informação com ênfase em sistemas de visualização e ponto multi-referência.
    1999 : Publicação de Modern Information Retrieval de Ricardo Baeza-Yates e Berthier Ribeiro-Neto, de Addison Wesley, primeiro livro que tenta abranger todas as RI.
    final da década de 1990 : Implementação de mecanismos de pesquisa na Web de muitos recursos antes encontrados apenas em sistemas experimentais de RI. Os mecanismos de pesquisa se tornam a instância mais comum e talvez a melhor instanciação de modelos de IR.

Grandes conferências

Prêmios em campo

Veja também

Referências

Leitura adicional

links externos