Integração de Dados

images-3

Integrar dados é uma das tarefas mais complexas da área de tecnologia de uma organização. É com a integração de dados que se permite a comunicação entre aplicações, a geração de relatórios gerenciais ou mesmo a comunicação entre empresas.

O processo de integrar dados exige que os mesmos sejam Extraídos de determinada origem, Transformados segundo determinadas regras de negócio e finalmente Carregados em seu novo destino.

Os projetos de data warehouse são bons exemplos de Integração de Dados pois consolidam dados de diferentes fontes. A maioria dessas fontes tendem a ser bancos de dados relacionais ou arquivo de texto (texto plano), mas podem existir outras fontes.

Uma aplicação de integração de dados tem que ser capaz de se comunicar com as bases de dados e ler diversos formatos de arquivos utilizados por toda a organização. Essa pode ser uma tarefa não trivial, e muitas fontes de dados podem não ser acessadas com facilidade.

Algumas das ferramentas utilizadas em projetos de integração de dados são IBM InfoSphere DataStage , Informática Power Center, Business Objects Data Integrator , Data Transformation Services entre outras.

Desafios

Os processos de integração de dados podem ser bastante complexos e problemas operacionais significativos podem ocorrer com sistemas desenvolvidos inapropriadamente.

A gama de valores e a qualidade dos dados em um sistema operacional podem ficar fora das expectativas dos desenvolvedores quando as regras de validação e transformação são especificadas. O perfil dos dados de uma fonte durante a análise dos dados é altamente recomendável para identificar as condições dos dados que precisarão ser gerenciados pelas especificações de regras de transformação.

A escalabilidade de um sistema de integração de dados durante o seu ciclo de vida de uso precisa ser estabelecido durante a análise. Isto inclui o conhecimento dos volumes de dados que terão que ser processados e os níveis de serviço que devem ser atendidos. O tempo disponível para extrair dados dos sistemas de origem pode variar, o que pode significar que a mesma quantidade de dados pode ter que ser processada em menos tempo. Volumes crescentes de dados podem requerer um desenho que possa escalar de processamento diário de lotes para processamento intra-diário de microlotes para a integração com filas de mensagens para garantir a continuidade da transformação e da atualização.

integracao-dados

 

Deixe uma resposta

Your email address will not be published. Required fields are marked *