En el mundo moderno de hoy en día, impulsado por los datos, es crucial para las organizaciones interconectar fácilmente servicios en la nube para procesar y analizar datos de cualquier proveedor. Dos de los principales servicios en la nube para el procesamiento y análisis de datos son Azure Synapse y Snowflake. En esta publicación del blog, exploraremos cómo interconectar estos servicios y transferir datos de Snowflake a Azure Blob Storage utilizando Azure Synapse Analytics.
Configuración del entorno
Antes de comenzar, asegúrese de tener un servicio de Synapse Analytics en ejecución, una cuenta de Snowflake y al menos una cuenta de almacenamiento de blobs. Si no tiene estos configurados, puede crear un servicio de Synapse en su cuenta de Azure en https://portal.azure.com y crear una cuenta de Snowflake en https://www.snowflake.com.
Configuración de Snowflake y Blob Storage como servicios vinculados
Para iniciar el proceso de transferencia de datos, debemos configurar Snowflake y Blob Storage como servicios vinculados en Azure Synapse Analytics. Así es cómo:
- Abra Synapse Analytics yendo a https://web.azuresynapse.net y seleccionando su espacio de trabajo.
- En la página de inicio, vaya a Administrar > Servicios vinculados > Nuevo.
- En la ventana que se abre, busque Snowflake e ingrese los detalles de conexión de su cuenta de Snowflake.
- Agregue un servicio vinculado adicional para el destino, que en este caso es el almacenamiento de blobs. Seleccione el almacenamiento de blobs y elija SAS URI como tipo de autenticación.
- Seleccione la carpeta de destino en su almacenamiento de blobs y genere una URL y un token SAS. Asegúrese de seleccionar los permisos necesarios para crear y escribir archivos.
- Copie y pegue la URL y el token SAS en el portal de Azure Synapse.
Creación de un flujo de trabajo para copiar datos
Una vez que se hayan configurado los servicios vinculados, podemos crear un flujo de trabajo para copiar datos de Snowflake a Blob Storage. Siga estos pasos:
- En el portal de Synapse, vaya a Integrar en el lado izquierdo y elija Nuevo flujo de trabajo.
- Asigne un nombre significativo al flujo de trabajo.
- Agregue una actividad de copia de datos al flujo de trabajo.
- Configure el conjunto de datos de origen seleccionando Snowflake y eligiendo la tabla adecuada.
- Configure el conjunto de datos de destino seleccionando Blob Storage y eligiendo el formato de archivo (por ejemplo, Parquet).
- Especifique la carpeta de destino y genere un nombre de archivo dinámico utilizando la fórmula @concat(pipeline().RunId, ‘_snowflake.parquet’).
- Valide el flujo de trabajo para asegurarse de que todo esté configurado correctamente.
- Publique el flujo de trabajo para guardarlo.
Ejecución del flujo de trabajo
Una vez que se haya creado el flujo de trabajo, puede ejecutarlo utilizando la opción de depuración para solucionar problemas o crear un desencadenador para ejecuciones automáticas o programadas. Así es cómo:
- Haga clic en Depurar para probar el flujo de trabajo y solucionar cualquier problema en tiempo de ejecución.
- Monitoree la ejecución del flujo de trabajo en la pestaña de Salida.
- Verifique en el portal de Azure que el archivo se haya creado correctamente en la carpeta de destino.
- Para crear un desencadenador, regrese al editor de flujo de trabajo y seleccione la opción Agregar desencadenador.
- Elija el tipo de desencadenador que desee (por ejemplo, Programación).
- Configure la configuración del desencadenador y guárdelo.
Monitoreo y gestión del flujo de trabajo
En Azure Synapse, puede utilizar la opción de Monitor para realizar un seguimiento de los resultados de ejecución tanto del flujo de trabajo como de los desencadenadores. Si necesita modificar o deshabilitar un desencadenador, puede hacerlo en la sección Administrar.
Con estos pasos, puede copiar fácilmente datos de Snowflake a Azure Blob Storage utilizando Azure Synapse Analytics. En la próxima publicación del blog, exploraremos cómo copiar datos a Snowflake.
Última actualización del artículo: 2023-05-18