Google Cloud Platform - Способы загрузки данных в GCS

Опубликовано: 2 Марта, 2022

Прежде чем вы сможете использовать мощь облака для обслуживания своего контента, вы должны поместить в него свои данные. В этой статье мы рассмотрим все способы загрузки данных. Все мы знаем, что Google Cloud Storage (GCS) может предоставлять ваши двоичные активы пользователям по всему миру с высокой скоростью и по низкой цене. Но прежде чем вы сможете сделать что-либо из этого, вам необходимо перенести данные в Google Cloud, что можно сделать несколькими способами. Давайте рассмотрим их подробнее.

1. Используя Google Cloud Console:

Это самый простой вариант. Это предоставляет вам возможности в браузере, где вы можете легко щелкнуть, чтобы создать сегменты и папки, а затем выбрать или перетащить файлы с локального компьютера для загрузки.

2. Использование GSUTIL:

Это подход инструмента командной строки. Хотя консоль подходит для простой загрузки в упрощенных ситуациях обслуживания, но для производственных сред вам часто требуется автоматизированное решение для командной строки. Для этого можно использовать инструмент GSUTIL, который представляет собой приложение Python, которое позволяет получить доступ к облачному хранилищу из командной строки. Он предоставляет вам возможность выполнять всевозможные операции, такие как создание корзин, перемещение объектов или даже редактирование метаданных. Чтобы использовать его, просто запустите программу GSUTIL с множеством параметров командной строки.

Например, приведенная ниже команда загружает каталог файлов с вашего локального компьютера в корзину GCS, используя параллельную загрузку.

gsutil -m cp -r dir gs://my-bucket

Следующая команда перечисляет определенные объекты, у которых есть URL-адрес, зависящий от версии, с использованием подстановочного знака:

 gsutil ls -a gs: //bucket/images/*.jpg

3. Использование клиентских библиотек:

В какой-то момент вам может понадобиться интерфейс с GCS прямо из вашего кода, а не использовать параметр командной строки. Вы можете включить клиентские библиотеки в свой код и вызвать простой API для передачи данных в корзину или папку, и, независимо от вашего языка, он, вероятно, вас охватит.

4. Использование JSON и XML:

Если ничего из вышеперечисленного не соответствует вашим потребностям, всегда есть старые добрые API-интерфейсы JSON и XML, которым вы можете разрешить запуск HTTP POST для загрузки данных непосредственно в корзину или папку. Это немного сложнее, но оно есть, если оно подходит для вашего случая использования.

5. Использование GCS Transfer Appliance

Теперь, для людей, у которых есть много-много данных, стоит отметить, что может быть невозможно загрузить все эти данные из ваших локальных систем непосредственно в облако Google. Для этого можно использовать GCS Transfer Appliance. Google доставляет вам модное устройство прямо к вам, и вы можете подключиться и передавать файлы на сверхвысокой скорости.