Подход Snowflake к хранению данных и почему он привлек $263 млн инвестиций

Хранилище данных — это давняя ИТ-практика управления всеми данными, доступными и созданными приложениями организации. Его цель — сделать эти данные легко доступными и пригодными для принятия бизнес-решений. Недавно стартап по созданию хранилищ данных Snowflake объявил об огромном финансировании в размере 263 млн долларов от таких крупных компаний, как Sequoia Ventures, что позволило ему войти в число элитных стартапов в клубе единорогов. Давайте посмотрим на различные факторы, которые повлияли на этот крупный раунд финансирования, и какие возможности ждут этот многообещающий стартап.

Складирование — задача предприятия

Любая взрослая организация имеет много терабайт данных о своих клиентах, продуктах, приложениях, внешних наборах данных и внутренних данных о сотрудниках и финансах. Данные были самым большим фокусом этих предприятий, поскольку они могут сделать организацию чрезвычайно успешной, если она хорошо обрабатывает все эти данные. В то же время неправильное обращение с этими данными может привести к упущенным возможностям или, что еще хуже, к проблемам для бизнеса.

Хотя даже у стартапов есть большие объемы данных, как правило, малые и средние предприятия и предприятия, которые работают уже некоторое время и работают в больших масштабах, чувствуют необходимость оптимизировать хранение и анализ данных. Это особенно верно в случае предприятий с десятилетней историей, у которых есть данные, восходящие к истокам их компании, которые все еще ценны для них. Эти данные управлялись одним и тем же образом на протяжении десятилетий, и любое изменение в системе может нарушить работу бизнеса. С ним нужно обращаться осторожно. Вот почему предприятиям многое зависит от того, как они подходят к основам хранилища данных. Хотя хранение данных представляет собой проблему для большинства организаций, в первую очередь у крупных предприятий больше проблем и больше потерь.

Неправильный способ хранения данных

Хранилище данных — сложная задача, требующая рассмотрения многих аспектов, таких как хранение, вычислительные ресурсы, объем памяти, пользовательский интерфейс, язык запросов, форматы данных и многое другое. Вам нужно построить и оптимизировать каждый компонент системы, чтобы она была успешной. Традиционно организации создавали всю эту установку собственными силами на аппаратной инфраструктуре. Это означает, что им необходимо покупать аппаратные серверы, диски и резервные ресурсы на случай всплеска. Им необходимо обучить внутренние команды обновлению и обслуживанию оборудования. Есть отдельная команда, которая объединяет множество различных программ с открытым исходным кодом и проприетарных программ, которые работают поверх оборудования и составляют сервисный уровень. Им необходимо структурировать и спроектировать свои базы данных для наилучшего использования, интегрировать их со своими приложениями и убедиться, что они высокодоступны, быстро работают и могут справляться с любой рабочей нагрузкой, возлагаемой на них по мере масштабирования и роста бизнеса. Все это проще, чем может показаться. Тем не менее, аппаратный уровень был самым большим ограничивающим фактором, который съедал все время хранения данных, отвлекая от реальной задачи — потребления и анализа данных.

Войди, облако

Облако меняет все это. Во-первых, он имеет дело с базовым аппаратным уровнем, заменяющим его облачными ресурсами, которые на несколько порядков лучше. Видя преимущества этого, теперь есть решения для облачных хранилищ данных, такие как Snowflake, которые выросли, чтобы удовлетворить спрос. Облачное хранилище имеет много преимуществ, таких как простое управление, быстрое масштабирование, лучшее использование ресурсов, более простая интеграция и экономичность.

Вместо того, чтобы отнимать время у анализа данных, решения для облачных хранилищ данных позволяют организациям сосредоточиться на том, что они действительно хотят делать со своими данными, и оставить управление инфраструктурой и базовыми уровнями поставщику. Это самая большая привлекательность для облачных складов. Кроме того, организациям не нужно выделять ресурсы для хранения и вычислений. Вместо того, чтобы серверы по большей части простаивали, теперь они могут динамически масштабироваться вверх и вниз в зависимости от рабочих нагрузок и платить только за используемые ресурсы. Это может сразу сократить расходы. Кроме того, облако упрощает интеграцию с другими корпоративными системами, поскольку современный набор корпоративных приложений состоит из облачных решений, таких как Salesforce, Workday и ServiceNow. Хотя эти облачные платформы SaaS также могут интегрироваться с локальными хранилищами, они лучше всего работают с облачным хранилищем.

Взгляд Snowflake на складирование

Snowflake начинает с этих основополагающих преимуществ облака, а затем добавляет некоторые из своих собственных преимуществ, чтобы найти привлекательное решение. Начнем с того, что Snowflake использует стандартный язык запросов SQL. Это может показаться незначительным фактором, но есть и другие решения, такие как AWS Redshift, которые вместо этого используют PostgreSQL, и это ограничивает их внедрение, поскольку SQL является наиболее широко используемым языком для хранения данных. Таким образом, если предприятие уже использует SQL, им не нужно переучивать свои команды для перехода на работу в Snowflake. Точно так же Snowflake поддерживает самые популярные форматы данных, такие как JSON, XML и другие. Принимая эти решения для поддержки того, что широко принято и является стандартом в отрасли, Snowflake обращается к предприятиям, которые составляют основной сегмент складского рынка.

Следующим большим преимуществом Snowflake является его уникальная архитектура. В то время как большинство традиционных хранилищ имеют один уровень для хранения и вычислений, Snowflake использует более тонкий подход, разделяя хранилище данных, уровень, на котором данные обрабатываются, и третий уровень, на котором они используются. Хранилище и вычислительные ресурсы совершенно разные, и ими нужно управлять отдельно. Таким образом, вы можете обеспечить очень дешевое хранилище и больше вычислений на доллар, а не увеличивать расходы, смешивая два основных компонента складского хранения.

Snowflake предоставляет два разных взаимодействия с пользователем для взаимодействия с данными — инженер данных и аналитик данных. Инженер загружает данные и работает со стороны приложения. Они являются администраторами и владельцами системы. Аналитики данных потребляют данные и извлекают из них бизнес-идеи после их загрузки в систему инженером данных. И здесь Snowflake разделяет две роли, позволяя аналитику данных клонировать хранилище данных и редактировать его в любой степени, не затрагивая исходное хранилище данных. Snowflake позволяет пользователям создавать любое количество виртуальных складов на основе других складов. Это освобождает аналитиков для получения максимальной информации о данных и дает максимальный контроль в руках администраторов, которым не нужно беспокоиться о том, что базовые схемы могут испортиться в процессе рутинных операций.

Соревнование

Снежинка не одинока в этом пространстве. Фактически, он сталкивается с конкуренцией со стороны крупнейших веб-компаний и других стартапов. AWS Redshift — одно из самых популярных решений для облачных хранилищ данных, доступных сегодня. Google BigQuery — еще один отличный вариант для скачкообразных рабочих нагрузок. Хранилище данных SQL Azure — это вариант из стабильной версии Microsoft. Alibaba Cloud MaxCompute — новый участник, и у Oracle скоро появится собственное решение. Кроме того, в этой области есть другие инновационные стартапы, такие как Panoply, которые также упрощают хранение данных и делают их облачными. Вся эта конкуренция доказывает, что хранилища данных занимают важное место в повестке дня как предприятий, так и поставщиков облачных услуг. Это то, что привело к большому вливанию 263 миллионов долларов в финансирование Snowflake. Если он хочет оставаться конкурентоспособным в таком пространстве, он должен быть лучше своих конкурентов по многим параметрам, таким как цена, производительность, использование и поддержка.

Может ли Снежинка стать лавиной?

Хранилища данных быстро перемещаются в облако. Традиционные методы не обеспечивают того вида услуг, который необходим сегодняшнему быстро меняющемуся бизнесу. Snowflake вывела на рынок привлекательное решение для облачных хранилищ данных. Будет ли достаточно нового финансирования в размере 263 млн долларов, чтобы продвинуть компанию к славе в области хранилищ данных? Подождем и посмотрим.