Você está procurando uma maneira de carregar dados de diferentes arquivos planos armazenados no Armazenamento de Blob do Azure para um Banco de Dados SQL do Azure? Você deseja apenas processar novos arquivos e ignorar aqueles que já foram processados? Se sim, o Azure Data Factory (ADF) pode ajudá-lo a atender a esse requisito.
Com o Azure Data Factory, você pode copiar dados de uma origem para um destino usando a atividade Copy Data. Nas configurações de origem dessa atividade, você pode especificar uma data e hora de início e término modificadas para filtrar os arquivos. Mas o que você precisa inserir nessas caixas de texto?
Felizmente, o ADF fornece um assistente e um modelo para ajudá-lo a começar. A Ferramenta de Cópia de Dados no ADF fornece uma interface semelhante a um assistente que o orienta na criação de um pipeline com uma atividade Copy Data. Ele também permite que você crie recursos dependentes, como serviços vinculados e conjuntos de dados.
Aqui está como você pode carregar dados de um arquivo CSV em uma tabela no Azure SQL DB usando a Ferramenta de Cópia de Dados:
- Crie a tabela de destino no Azure SQL DB usando a instrução DDL fornecida.
- Na página inicial do ADF, escolha “Copiar dados”.
- Dê um nome à tarefa e escolha um agendamento. Para que a carga incremental funcione, você precisa escolher uma opção agendada regularmente.
- Escolha o serviço vinculado existente para o Armazenamento de Blob do Azure ou crie um novo, se necessário.
- Especifique a localização dos arquivos que você deseja copiar.
- Escolha a opção “Carga incremental: Última data de modificação” para o comportamento de carregamento.
- Especifique o formato do arquivo.
- Configure o destino escolhendo o Azure SQL DB e a tabela de destino.
- Revise as configurações de movimentação de dados e deixe-as nas configurações padrão.
- Revise o pipeline gerado e publique-o no ambiente do ADF.
Depois que o pipeline for criado, ele só pegará arquivos com uma data de modificação posterior à data de início do agendamento. Os arquivos que já foram processados serão ignorados. Se um novo arquivo for adicionado ao contêiner de blob, ele será capturado na próxima execução do pipeline.
Outra opção para criar um pipeline com esse padrão de carga incremental é usar um modelo. A galeria de modelos no ADF fornece um modelo “Copiar apenas novos arquivos por Última data de modificação”. No entanto, observe que o modelo só suporta fontes binárias, excluindo o Azure SQL DB como destino. O modelo cria um pipeline com uma atividade Copy Data e parâmetros de pipeline, permitindo que você construa um framework para implementar o padrão de carga incremental.
Em conclusão, o Azure Data Factory oferece duas opções para carregar dados do Armazenamento de Blob do Azure para o Banco de Dados SQL do Azure de forma incremental. A Ferramenta de Cópia de Dados oferece uma configuração simples, mas pode não lidar eficientemente com arquivos existentes ou recarregar todos os arquivos. Por outro lado, usar o modelo oferece mais flexibilidade, mas requer esforço adicional de desenvolvimento para construir um framework. Escolha a opção que melhor atenda aos seus requisitos e comece a carregar seus dados sem problemas.