Integração de Dados
De Wiki.infotuga.com
Tabela de conteúdo |
Integração de Dados
A necessidade de troca de dados provenientes de diferentes fontes tem crescido, muito por causa do tráfego de informação que é gerado, tanto por sistemas convencionais, como por aplicações na internet. Estes dados, normalmente criados, ou introduzidos, por pessoas, são escritos de maneiras diferentes, sendo que por vezes, uma realidade pode ser representada de várias formas.
Assim, a integração de dados não é mais do que o processo de combinar dados alojados em diferentes fontes, facilitando-os ao utilizador numa visão única e unificada dos mesmos.
A integração de dados é também, frequentemente, denominada como Integração da Informação Empresarial.
A Integração de Dados
Segundo Miller (MILLER e tal., 2001), desde o aparecimento da administração de base dados, que se coloca o problema da integração de dados, como uma questão complexa e de extrema relevância.
A integração de dados torna possível às organizações acederem a dados dispersos e desconexos, guardados nas suas bases dados, possibilitando uma consulta coerente e rigorosa, capaz de orientar e operacionalizar as decisões que possam vir a ter que ser tomadas.
Com a integração de dados torna-se possível resolver as questões que surgem a partir de dados fragmentados, incluindo: má qualidade dos dados, incoerências na estrutura e significado dos dados, ou ainda a má gestão da informação. Nos dias que correm, as organizações aplicam a integração de dados com diferentes fins, como: a implementação de relatórios em tempo real para optimizar as decisões estratégias e operacionais; a migração de dados para novas aplicações de gestão de informação; a sincronização de dados com sistemas e processos operacionais; e criar serviços de dados flexíveis e reutilizáveis.
A integração de dados pode ser entendida pelas organizações como uma forma de alargarem o seu rol de iniciativas, incluindo operações com dados, como a migração, a consolidação, a sincronização, o armazenamento ou a implementação de serviços de dados.
O Problema da Integração de Dados
A fim de perceber melhor a problemárica da integração de dados, tomemos como exemplo uma empresa que tem vários sistemas (desenvolvidos separadamente, e em que cada um deles guarda os dados sobre clientes em formatos e locais diferentes), usados pelos clientes para realizar diferentes tarefas: um sistema oferece aos utilizadores registados, informações personalizadas sobre os produtos que estes preferem; outro sistema oferece ferramentas de gestão para clientes considerados parceiros; um terceiro sistema faz o rastreio de clientes que se registam para comparecer em futuros eventos.
Esta configuração apresenta dois problemas críticos para o negócio:
- primeiro, porque a empresa trata os clientes como pessoas diferentes quando usam sistemas diferentes;
- em segundo lugar, a empresa é prejudicada por que não tem uma visão integrada em relação aos clientes.
Independentemente de esta situação acontecer por os sistemas terem sido desenvolvidos individualmente, sem considerar o contexto mais amplo onde operam, o problema continua: a empresa tem que integrar os sistemas para melhorar a utilização dos sistemas pelos clientes e também o conhecimento a respeito de quem é o cliente e qual é a melhor forma de atendê-lo.
Criar um Data Warehouse Integrado
A abordagem mais comum para resolver os problemas de integração de dados, é exigir que todos os sistemas adoptem um único modelo canónico para clientes.
1- O grupo que vai desenvolver o sistema reúne-se e projecta o formato único da empresa para representar os dados do cliente. Este é definido usando um esquema escrito.
2- A equipa cria um novo armazenamento de dados, para permitir que os sistemas partilhem os dados no novo formato.
3- A solução é então apresentada a todas as equipas, responsáveis pelos vários sistemas que interagem com os clientes, e é-lhes exigido que adoptem o novo modelo, para que a mudança se processe (figuras 1 e 2).
Cada sistema é modificado para usar o armazenamento de dados de base por meio da respectiva interface de serviços da Web. Os sistemas armazenam e recuperam informações do cliente. Todos os sistemas compartilham a mesma instância de serviço, o mesmo modelo de dados e as mesmas informações.
Essa solução parece simples, elegante e boa, mas uma implementação ingênua normalmente falha por uma destas três razões: excesso na exigência de informações, falta de uma estratégia eficiente de versões e falta de suporte para uma extensão no nível do sistema.
Sistemas de Integração de Dados
Actualmente vivemos naquela que é conhecida pela era da informação, que segundo Wache (WACHE et tal., 2004), “a sociedade exige um acesso a informação disponível, que é frequentemente heterogénea e distribuída”. Neste sentido, têm sido desenvolvidos sistemas de integração de dados, com o intuito de fornecer às pessoas que consultam os dados armazenados, uma visão única e homogénea da informação guardada em diferentes fontes, desenvolvidas de forma independente entre elas.
O principal fim destes sistemas é libertar o utilizador de ter que localizar as fontes dos dados a que acede, interagir com cada uma isoladamente e combinar os dados das diferentes fontes manualmente.
Com o aparecimento da internet a necessidade de mecanismos flexíveis e eficientes para manipular diferentes fontes de informação tem crescido consideravelmente, muito por causa da relevância e importância que a internet tem alcançado, enquanto meio principal para publicação e transmissão de informação, em organizações públicas e privadas. Para além da «rede global», as aplicações de sistemas de integração de dados também são aplicadas à administração de dados em grandes organizações, à transmissão de dados entre agentes governamentais, potenciando dessa forma o cruzamento de informação (ex: dívidas ao fisco e à segurança social, cadastro policial, fichas clínicas, etc.), e a grandes projectos científicos, como por exemplo, pesquisas biológicas e astrónomas.
Integração da Informação Empresarial
A integração da informação empresarial é a aplicação comercial da integração de dados. Aqui não só importa corrigir os erros que os dados possam apresentar, mas também a simplicidade e eficiência com que os dados são mostrados ao utilizador.
A integração da informação empresarial deve:
- ser simples de entender;
- ser simples de aplicar;
- manipular informações transversais à organização.
Importância da Integração de Dados
Assim, a integração de dados torna-se fundamental para o armazenamento de dados. É um processo essencial para a criação de um robusto armazenamento de dados, capaz de potenciar soluções de consulta de dados fiáveis e íntegros. A integração de dados inclui todas as actividades necessárias para a recolha de dados a partir de diferentes fontes, e de transformar e limpar os mesmos.
Referencias
WACHE, H. et al., 2004, Ontology-based integration of information – a survey of existing approaches
MILLER, R. J. et al., 2001, The clio project: Managing heterogeneity
Bibliografia
CALDEIRA, C., 2008, Data Warehousing - Conceitos e Modelos, 1ª edição, Edições Silabo, Lisboa.
KIMBALL, R., 2008, Essential Steps for the Integrated Enterprise Data Warehouse, Part 1, DM Review Magazine, Abril
SHERMAN, R., 2007, Separate the Forest from the Trees with Enterprise Data Management, DM Review Magazine, Junho
SHERMAN, R., 2007, Data Integration Trends: Future Shock, DM Review Magazine, Agosto
SHERMAN, R., 2007, More Trends in Data Integration, DM Review Magazine, Setembro
ZHU, Hongwei et al., 2004, Effective Data Integration in the Presence of temporal Semantic Conflicts
