Хранилище Azure Data Lake от Microsoft недавно получило несколько интересных улучшений, как было объявлено на конференции Stata + Hadoop World. В этой статье мы рассмотрим хранилище Azure Data Lake и новую службу аналитики Azure Data Lake и то, как они могут революционизировать обработку и аналитику больших данных.

Хранилище Azure Data Lake

Хранилище Azure Data Lake, ранее известное как Azure Data Lake, является мощным хранилищем, которое позволяет захватывать данные любого размера, типа и скорости без необходимости внесения изменений в ваше приложение при масштабировании данных. Оно предоставляет единое место, где ваши данные легко доступны из любого приложения и инструмента HDFS через WebHDFS.

Одним из ключевых преимуществ хранилища Azure Data Lake является его способность обрабатывать структурированные и неструктурированные данные. Это означает, что вы можете быстро анализировать широкий спектр данных, включая социальные настроения, веб-клики, журналы серверов, устройства, датчики и многое другое. Без необходимости настройки, конфигурации или управления инфраструктурой, вы можете сосредоточиться на извлечении ценной информации из ваших данных.

Аналитика Azure Data Lake

Аналитика Azure Data Lake – это распределенная аналитическая служба, построенная на Apache YARN. Она позволяет разработчикам быть сразу продуктивными в области больших данных, отправляя задания в службу. Служба автоматически выполняет эти задания параллельно в облаке, масштабируя обработку данных любого размера. После завершения задания ресурсы автоматически освобождаются, и вы платите только за использованную вычислительную мощность.

Особенно мощной делает аналитику Azure Data Lake ее способность работать с SQL, .NET или навыками Hive. Независимо от того, являетесь ли вы администратором баз данных, инженером данных, архитектором данных или ученым по данным, вы можете использовать свои существующие знания для эффективного анализа данных. Сочетая простоту использования SQL с выразительной мощью C#, аналитика Azure Data Lake представляет новый язык, называемый U-SQL.

U-SQL: объединение SQL и C#

U-SQL – это язык для работы с большими данными, который без проблем сочетает простоту SQL с гибкостью и мощью C#. С помощью U-SQL вы можете эффективно анализировать данные в хранилище Azure Data Lake, а также в Azure Blob Storage, SQL-серверах в Azure, Azure SQL Database и Azure SQL Data Warehouse.

U-SQL основан на внутреннем опыте Microsoft с SCOPE и существующими языками, такими как T-SQL, ANSI SQL и Hive. Эта масштабируемая распределенная возможность запросов позволяет вам эффективно обрабатывать и анализировать данные, делая обработку больших данных проще, чем когда-либо.

Интеграция и инструменты

Azure HDInsight, полностью управляемый кластер Apache Hadoop, теперь включен в состав хранилища Azure Data Lake. Эта интеграция дополняет возможности экосистемы хранилища Azure Data Lake. Кроме того, Hortonworks, Cloudera, MapR и другие партнеры будут интегрироваться с хранилищем Azure Data Lake, предоставляя еще больше вариантов для обработки данных и аналитики.

Для упрощения процесса разработки Microsoft представила инструменты Azure Data Lake для Visual Studio. Эти инструменты предоставляют интегрированную среду разработки, охватывающую хранилище Azure Data Lake, что позволяет легко создавать, отлаживать и оптимизировать обработку и аналитику любого масштаба. С помощью этих инструментов вы можете писать сценарии U-SQL и управлять своим хранилищем данных напрямую из портала управления Azure.

Заключение

Хранилище Azure Data Lake и аналитика Azure Data Lake предлагают мощное и всестороннее решение для обработки и аналитики больших данных. Благодаря возможности обработки данных любого размера, типа и скорости, а также безшовной интеграции SQL и C# через U-SQL, разработчики и специалисты по данным могут быстро извлекать ценные знания из своих данных. Экосистема хранилища Azure Data Lake продолжает расширяться, с интеграцией от ведущих партнеров и рядом инструментов для упрощения процесса разработки.