Google Transfer Appliance отправляет чрезвычайно большие объемы данных в облако

Если вы загружаете 50 или 75 терабайт (ТБ) данных в облако, вам не только придется платить за отправку всех этих данных с использованием полосы пропускания вашей сети, но и это может занять возмутительно много времени. Есть ли еще один способ перенести чрезвычайно большой объем данных в облако? Google Transfer Appliance может выполнить эту работу, а также сэкономить время и деньги.
Amazon Web Services пытались найти решение этой проблемы под названием Snowball, но их лимит данных составляет 50 или 80 ТБ. Google Transfer Appliance, с другой стороны, выпускается в двух гораздо больших размерах: 100 ТБ и 480 ТБ.
Что такое Google Transfer Appliance?

Google Transfer Appliance — это сервер хранения большой емкости, предоставленный вам в аренду компанией Google. После того, как вы его получите, вы подключаете его к своей сети, загружаете данные, а затем отправляете их на объект, где данные загружаются в Google Cloud Storage.
Как уже упоминалось, доступны два размера: 100 ТБ и 480 ТБ, хотя устройства потенциально могут хранить еще больше в зависимости от степени сжатия и дедупликации ваших данных. Например, Google утверждает, что вариант 100 ТБ потенциально может хранить 200 ТБ, а вариант 480 ТБ может содержать 1 петабайт данных.
Используя этот вариант, вы можете безопасно передавать до петабайта данных на одно устройство, заплатив только часть того, что вы бы загрузили для такого большого объема данных через высокоскоростное подключение к Интернету, используя стоечное или автономное устройство, в зависимости от ваших потребностей.
Фактически, для загрузки петабайта данных потребуется около трех лет при типичной пропускной способности сети 100 Мбит/с. Вместо этого Google Transfer Appliance позволяет вам собирать такой же объем данных менее чем через 25 дней после получения устройства. Затем пройдет еще около 25 дней, прежде чем эти данные станут доступны в Google Cloud Storage.
Помимо скорости, одним из ключевых преимуществ этого продукта является экономия средств за счет отсутствия необходимости использовать пропускную способность исходящей сети, чтобы сделать ваши данные доступными в облачном хранилище.
На данный момент этот продукт находится на стадии бета-тестирования. Если вы хотите принять участие, вы можете заполнить форму заявки на бета-тестирование Google Transfer Appliance.
Кому будет полезно использовать Google Transfer Appliance?
Google выпустил полезную таблицу, чтобы вы могли увидеть приблизительное время загрузки в зависимости от вашего набора данных, размера и скорости сети.
Если у вас более 60 ТБ данных или вам требуется более одной недели для загрузки данных, Google рекомендует использовать Transfer Appliance. Однако не забывайте учитывать, что прогнозируемое время загрузки ваших данных в облако с помощью Transfer Appliance составляет в общей сложности 50 дней, в зависимости от размера, поэтому учитывайте это перед принятием решения.
Как это работает?
Сначала вы получите по почте Transfer Appliance, затем настроите его и подключите к своей сети. Утилиты Transfer Appliance собирают и передают данные на устройство. После этого файлы можно прикреплять напрямую или монтировать через общие сетевые ресурсы, если к ним можно получить доступ как к файлу в файловой системе, совместимой с POSIX.
Согласно сообщению в блоге Google, «все захваченные данные дедуплицируются, сжимаются и шифруются с помощью стандартного отраслевого алгоритма AES 256 с использованием пароля и парольной фразы, которые вы указываете» перед сохранением на устройстве передачи.
Этот пароль и кодовая фраза затем используются при загрузке данных в Google Cloud Platform для расшифровки, распаковки и восстановления данных. Однако будьте осторожны. Невозможно восстановить данные на Transfer Appliance, если вы забыли пароль или кодовую фразу.
После того, как вы все это сделали, убедитесь, что данные не повреждены и что все передано полностью, запустив проверку целостности данных. Если все пойдет хорошо, пришло время отправить Transfer Appliance обратно в Google.
Как только Google получает устройство, они копируют зашифрованные данные в промежуточную корзину Google Cloud Storage. Прямо сейчас загруженные данные все еще сжаты, дедуплицированы и зашифрованы. Таким образом, Google отправит вам электронное письмо, как только ваши данные закончат загрузку, и вы сможете начать их регидратацию.
Чтобы сделать данные снова пригодными для использования, вы восстанавливаете их или расшифровываете, распаковываете и восстанавливаете данные. Просто запустите приложение Transfer Appliance Rehydrator и выберите целевую корзину Cloud Storage.
Этот экземпляр Rehydrator, который вы используете, представляет собой виртуальное устройство, которое работает как экземпляр Google Compute Engine в GCP. Затем еще раз запустите эти проверки целостности, чтобы убедиться, что все в порядке.
Отсюда устройство для переноса надежно стирается и повторно создается образ для повторного использования в будущем.
Цены
С таким большим количеством данных нет ничего дешевого. Хотя вы можете сэкономить много денег, не платя за пропускную способность исходящей сети, это все равно дорого.
Важно понимать, сколько дней вам понадобится Transfer Appliance, потому что Google взимает плату за использование, которая включает определенное количество бесплатных дней использования на месте, но вы будете нести штраф за просрочку платежа, если устройство будет храниться дольше установленного срока. отведенные свободные дни.
С устройством на 100 ТБ у вас есть 10 дней для загрузки данных, а с устройством на 480 ТБ — 25 бесплатных дней. Приятным дополнением к этому правилу является то, что в эти бесплатные дни засчитываются только будние дни.
Одним из важных соображений является то, что вам придется оплатить стоимость доставки вашего устройства для переноса. Конечно, они сильно различаются в зависимости от вашего местоположения и вариантов доставки. Однако, по данным Google, «доставка одного устройства емкостью 480 ТБ обычно на 70% дешевле, чем доставка пяти устройств емкостью 100 ТБ».
Они предлагают работать с вами, чтобы вы могли найти лучший и недорогой вариант для ваших нужд, но это может стоить от 500 до 900 долларов в зависимости от размера вашего устройства.
Google также экономит ваши расходы, не заставляя вас платить за прием данных для перемещения данных из устройства для переноса в облачное хранилище Google. Однако после того, как данные будут размещены в облачном хранилище, вам, конечно же, придется оплачивать соответствующие ежемесячные расходы на хранение и эксплуатацию данных.
Если вам нужна дополнительная информация о ценах, включая диаграмму и пример, ознакомьтесь с ценами на приложения Google Transfer.
Если у вас очень большой объем данных, которые вы хотите загрузить в Google Cloud Storage, на данный момент это самый экономичный вариант.