4 новых облачных сервиса данных Google, о которых вы должны знать
Google обрабатывает одни из самых больших наборов данных в мире, и как создатель Hadoop, который начал революцию в области больших данных, технический гигант уже давно известен своим мастерством работы с данными. Поэтому неудивительно, что Google Cloud Platform быстро внедряет новые сервисы данных. Вот основные инновации Google Cloud в области управления облачными данными.
О чем службы данных Google Cloud
В двух словах, облачные службы данных Google — это службы, которые предоставляют доступ к огромной коллекции облачных инструментов Google для сквозного управления жизненным циклом данных.
Есть два ключевых элемента того, как работает управление данными в облаке. Во-первых, облако как единая система предоставляется клиентам через общую платформу (IaaS), где организации-заказчики могут создавать свои собственные облачные службы в инфраструктуре поставщика облачных услуг. Во-вторых, облако как единая система стало доступно клиентам несколькими способами (модель «облако как услуга»), при этом поставщики и поставщики услуг добавляют свои настройки к услуге. Эти услуги бывают самыми разными, например хранилища данных, потоки данных и службы потоковой передачи данных.
В то время как организации начинают свой путь к облаку, управляя своими собственными данными в облаке, в конечном итоге большинство организаций будут использовать бессерверные и полностью управляемые инструменты обработки данных. Это позволит им избежать проблем с обслуживанием инфраструктуры данных и просто наслаждаться преимуществами использования данных. Включить это и стать удобным местом для управления данными в облаке — цель Google Cloud.
1. Analytics Hub: делитесь данными и сотрудничайте с внешними организациями
Analytics Hub основан на BigQuery, сервисе бессерверного хранилища данных от Google Cloud. Analytics Hub призван решить проблемы, связанные с тем, что организации делятся своими данными с другими организациями. Это позволяет организациям управлять своими данными, предоставляя им полный контроль над тем, кто получает доступ к их данным.
В основе Analytics Hub лежат наборы данных и обмены. Наборы данных — это просто представления любых данных, которыми вы хотели бы поделиться с любой внешней организацией. Биржи — это место, где эти внешние организации могут просматривать ваши наборы данных и подписываться на них. Что касается ценообразования, подписчики данных платят за запросы, которые они выполняют к любым данным, к которым они обращаются, и как владелец данных ваша организация платит за хранение этих данных.
Существуют различные типы наборов данных, например общедоступные, коммерческие и внутренние наборы данных. Общедоступные наборы данных предоставляются Google и включают данные о погоде, COVID-19 и многом другом. Коммерческие наборы данных предоставляются поставщиками данных. Внутренние наборы данных — это те, которые ваша организация создает для совместного использования с внутренними командами или внешними партнерами и поставщиками.
Аналитический центр предлагает надежный способ без проблем управлять своими данными в облаке. То, как организация делится своими данными с внешним миром, играет центральную роль в ее функционировании и ведении бизнеса. В этом смысле Analytics Hub имеет решающее значение в мире, где организации больше не работают как одинокие острова, а свободно интегрируются с другими организациями. Эта тенденция будет расти в ближайшие годы, и Analytics Hub станет более популярным.
2. Dataplex: управляйте несколькими озерами данных и хранилищами данных из одного места.
Dataplex — это интеллектуальная структура данных, которая обеспечивает возможность централизованного управления, мониторинга и управления вашими данными. Это набор строительных блоков для построения конвейера данных. Dataplex дает вам гибкость в выборе места для хранения ваших данных и унифицированного управления ими.
Раньше организация имела различные хранилища данных, разбросанных по центру обработки данных и различным облачным хранилищам. Эти бункеры будут использоваться разными командами по-разному. Все это порождает путаницу и узкие места в рабочем процессе данных в масштабах всей организации. С помощью Dataplex организации могут создать общую структуру данных, охватывающую все их хранилища данных, независимо от того, где они хранятся.
Потенциал организации, развертывающей Dataplex, заключается в разработке полностью интегрированного конвейера, в котором вы управляете данными в нескольких озерах и хранилищах данных. Независимо от того, управляются ли эти озера данных в Google Cloud или у другого поставщика данных, они могут быть объединены с Dataplex.
При управлении данными в разных местах важно обеспечить согласованный контроль над вашими данными, чтобы обеспечить единую безопасность. Dataplex обеспечивает это с помощью набора политик, которые можно применять к некоторым или ко всем вашим данным. Это обеспечивает надежные возможности управления и соответствия требованиям.
С помощью Dataplex вы можете предоставить командам доступ к данным независимо от того, где они находятся. Важной особенностью Dataplex является его среда аналитики одним щелчком мыши. Думайте об этом как о шаблонах данных, которые могут использоваться различными командами в готовом виде. Шаблоны можно настроить для каждой команды или продукта. Ученые и аналитики данных могут стать более продуктивными, поскольку у них будет более легкий доступ к данным. Кроме того, владельцы данных могут быть уверены, что точно знают, кто использует их данные и как они получают к ним доступ.
3. Datastream: бессерверная служба интеграции данных
Datastream — это бессерверная служба сбора изменений данных. Он не только фиксирует изменения данных в вашей файловой системе, но и позволяет вам интегрировать эти данные с другими наборами данных на лету. Он может обновлять существующие данные и создавать новые данные, готовые к использованию группами обработки данных. Данные могут передаваться в Datastream из службы потоковой передачи данных, и эти данные могут быть синхронизированы с малой задержкой. Будучи бессерверным решением, Datastream исключает управление инфраструктурой из уравнения, позволяя вам сосредоточиться на том, как вы хотите использовать свои данные.
Ключевым вариантом использования Datastream является интеграция данных из разных баз данных и приложений. Как правило, интеграция данных занимает много времени и каждый раз требует написания пользовательских плагинов и интеграций. С Datastream этот процесс можно значительно ускорить. Просто направьте свой поток данных на Datastream, и у вас будет множество элементов управления для синхронизации этих данных почти в реальном времени. Это делает данные очень удобными и полезными для групп аналитиков и специалистов по обработке и анализу данных.
Ускорение рабочих процессов обработки данных является сегодня важным приоритетом для организаций. Поток данных является жизненно важной частью этого в экосистеме Google Cloud.
4. Dataflow Prime: создан для обработки больших данных
Dataflow Prime позволяет организациям выйти за рамки реляционных данных и использовать возможности облака для получения информации из аналитики больших данных. Он основан на Apache Beam и отлично справляется с анализом потоковых данных в реальном времени. Он имеет отличную встроенную поддержку самых популярных сред AI и ML, а также языков программирования, таких как Tensorflow и Python.
Dataflow имеет широкий спектр вариантов использования, таких как обнаружение аномалий, прогнозная аналитика и обработка данных датчиков IoT. Для совместной работы в Dataflow есть функция, называемая конвейерами, которая позволяет командам совместно использовать рабочие процессы. Существует также поддержка общих ноутбуков ML через Vertex AI от Google.
Dataflow хорошо интегрирован с BigQuery и остальными сервисами данных Google Cloud. Это ключ к стратегии данных любой организации в Google Cloud.
Будьте в курсе тенденций больших данных с помощью облачных сервисов данных Google.
Верно также и то, что многие новые предложения строятся на уроках, извлеченных из других услуг или областей знаний. Данные находятся в центре внимания и, вероятно, останутся в обозримом будущем. По своей природе облачные сервисы быстро меняются. Создание портфеля управляемых облачных сервисов данных является ключом к тому, чтобы оставаться в курсе тенденций больших данных и меняющегося ИТ-ландшафта.