В этой статье мы рассмотрим, как использовать задачу Konesans File Watcher в SQL Server Integration Services (SSIS) для обработки файлов данных сразу после их поступления в каталог. Эта задача предоставляет легкое и эффективное решение для мониторинга каталога и запуска действий на основе появления новых файлов.
Сначала давайте разберемся с сценарием, с которым мы будем работать. У нас есть определенный “каталог для загрузки”, куда будут доставляться файлы Excel для обработки. Каждый файл Excel будет иметь определенный формат и содержать лист с именем “Products” с фиксированным набором столбцов. Нашей целью является разработка пакета SSIS, который ожидает появления файла в каталоге для загрузки, а затем загружает этот файл в таблицу SQL Server.
Задача Konesans File Watcher предлагает несколько полезных функций, которые делают ее более предпочтительным вариантом по сравнению с другими решениями. Во-первых, она ожидает, пока не будет получен эксклюзивный доступ к найденному файлу, прежде чем передать управление остальной части пакета. Это гарантирует, что файл не будет обрабатываться, пока он все еще записывается. Во-вторых, она сохраняет имя найденного файла в переменной для последующего использования. Это позволяет нам легко ссылаться на имя файла в последующих задачах. Кроме того, задача может распознавать существующие файлы в мониторимом каталоге, что упрощает обработку файлов, которые уже присутствуют при запуске пакета. Наконец, задачу легко настроить для отслеживания файлов в каталоге, указанном в виде сетевого UNC-пути.
Теперь давайте обсудим шаги, необходимые для реализации этого решения с использованием задачи Konesans File Watcher:
- Создайте новый пакет SSIS в SQL Server Data Tools (SSDT).
- Добавьте задачу Konesans File Watcher в пакет.
- Настройте задачу для отслеживания новых файлов в каталоге для загрузки.
- Переместите файл из каталога для загрузки в каталог для обработки с помощью задачи File System Task.
- Очистите стадийную таблицу базы данных с помощью задачи Execute SQL Task.
- Загрузите файл Excel в стадийную таблицу с помощью задачи Data Flow Task.
- Переместите файл из каталога для обработки в архивный каталог с помощью задачи File System Task.
- Завершите пакет.
Следуя этим шагам, мы можем создать надежный и эффективный пакет SSIS, который обрабатывает файлы Excel сразу после их появления в каталоге для загрузки. Задача Konesans File Watcher предоставляет надежное и простое в использовании решение для мониторинга каталогов и запуска действий на основе появления файлов.
Важно отметить, что использование задачи Konesans File Watcher имеет некоторые недостатки. Во-первых, она требует установки на всех рабочих станциях и серверах, где будет разрабатываться или выполняться пакет. Во-вторых, это закрытое программное обеспечение, что означает, что мы не можем просмотреть его исходный код. Эти факторы могут быть преградой для принятия решения о его использовании для некоторых лиц или организаций.
В заключение, задача Konesans File Watcher является мощным инструментом для мониторинга каталогов и обработки файлов в SSIS. Она предлагает несколько полезных функций, которые делают ее предпочтительным вариантом во многих случаях. Однако важно учитывать недостатки и оценивать, соответствует ли она вашим конкретным требованиям и ограничениям.