Amazon S3 Storage Lens: взгляд изнутри на этот новый инструмент

Amazon Simple Storage Services, широко известная как Amazon S3, представляет собой систему хранения объектов с простым веб-интерфейсом, которая упрощает хранение и извлечение любого объема данных из облака. Он поставляется с множеством функций и надстроек, которые позволяют легко обрабатывать огромные объемы данных по всему миру.

В Amazon S3 данные хранятся в виде объектов, а эти объекты, в свою очередь, хранятся в ресурсах, называемых корзинами. Вы можете представить себе это как настоящее ведро, в которое помещаются камни разного размера, где у вас есть возможность добавлять камни до тех пор, пока ведро не будет заполнено, и вынимать их в любое время. В этой аналогии камни — не что иное, как группы данных в реальном мире, а ведра — воображаемые структуры.

Эта простая структура хранения добавляет ему популярности, и некоторые другие причины заключаются в том, что это:

• Простой в использовании
• Безопасный
• Надежный
• Доступно во многих регионах
• Легко интегрируется с множеством приложений и сервисов
• Высокая масштабируемость
• Инструмент для использования возможностей облака

Эти преимущества привели к его широкому распространению среди компаний всех размеров по всему миру.

Но на протяжении многих лет компаниям становится все труднее отслеживать свои сегменты и облачные бюджеты, особенно когда они переносят все больше данных и приложений и хотят максимально использовать возможности облака.

Чтобы преодолеть это препятствие, Amazon разработала новый продукт под названием Amazon S3 Storage Lens.

Что такое объектив хранилища Amazon S3?

Проще говоря, Amazon S3 Storage Lens дает единое представление об использовании и активности вашего хранилища Amazon S3 во всех подразделениях и регионах. Он дает краткое представление о том, сколько места для хранения вы используете, в каких регионах они распределены, надстройках и уровнях их использования, а также обо всем остальном, что вы хотите знать о своей учетной записи Amazon S3.

Еще одним важным аспектом является то, что он позволяет получить представление о вашем использовании, поэтому вы можете получить полезную информацию для принятия соответствующих решений и внедрения передового опыта.

Эти идеи представлены на интерактивной панели управления в консоли Amazon S3 для быстрого ознакомления. Его также можно загрузить в виде файла CSV для дальнейшего анализа.

Теперь, когда у вас есть хорошее представление о том, что такое Amazon Storage Lens, давайте поговорим о том, как его настроить, каковы различные показатели и как его можно использовать.

Настройка объектива хранилища AWS S3

В качестве первого шага перейдите на консоль S3 и активируйте S3 Storage Lens.

Панель инструментов S3 автоматически создается для каждого клиента и называется «панелью управления учетной записью по умолчанию». Он содержит сводные данные и тенденции хранения и использования вашей учетной записи Amazon. Эти показатели обновляются ежедневно, поэтому то, что вы видите, будет самой последней активностью до предыдущего дня.

Вы не можете удалить эту панель мониторинга по умолчанию, но у вас есть возможность перейти с бесплатной на платную подписку, чтобы получить более подробные показатели и расширенные рекомендации. Однако вы можете отключить панель мониторинга по умолчанию, и когда вы это сделаете, она больше не будет обновляться последней информацией.

Вы также должны указать домашний регион, так как именно здесь хранятся все показатели для данной панели мониторинга или конфигурации. Обратите внимание, что вы не можете изменить домашний регион, связанный с учетной записью Amazon, поэтому дважды проверьте его перед созданием.

Кроме того, эта функция домашнего региона недоступна для следующих регионов:

• Африка Кейптаун (af-юг-1)
• Азиатско-Тихоокеанский регион Гонконг (ap-east-1)
• Европа Милан (eu-юг-1)
• Ближний Восток Бахрейн (я-юг-1)

В целом конфигурация и настройка довольно интуитивно понятны, а навигация проста.

Пользовательские информационные панели

Бесплатные учетные записи поставляются только с панелью инструментов по умолчанию, но платные подписки предлагают больше гибкости, поскольку вы можете создавать собственные панели инструментов.

Вот некоторые вещи, которые вы можете сделать с платным членством.

Создайте не более 50 информационных панелей

Платное членство позволяет создавать до 50 пользовательских информационных панелей для каждого домашнего региона. Вы можете выбрать информационные панели, отображающие активность всей организации или только определенного региона или сегмента, и у вас есть полный контроль над нужными вам показателями.

Обратите внимание, что информационные панели на уровне организации имеют только региональную область действия.

Исторические данные

Вы можете получить доступ к историческим данным максимум за последние 15 месяцев. На панели инструментов вы можете увидеть сводку, экономическую эффективность вашего использования, защиту данных и активность. С помощью этой информации вы можете определить, как ваше использование выросло или сократилось за определенный период, чтобы вы могли действовать в соответствии с этим.

Но когда вы удаляете информационные панели, вы теряете хранящиеся в них исторические данные, и для извлечения этих данных необходимо создать новую информационную панель с тем же именем и в том же домашнем регионе!

Работаем над метриками

Ключевым аспектом Storage Lens являются метрики, поскольку они сообщают вам все, что вы хотите знать, например уровни использования, рентабельность и многое другое.

Более глубокий анализ

Amazon S3 Storage Lens позволяет выбрать первичные и вторичные метрики из данного списка для более глубокого анализа. Вы можете выбрать из широкого спектра метрик для удовлетворения ваших конкретных потребностей.

Экспорт показателей

Если у вас уже есть система анализа, вы можете просто загрузить показатели в формате CSV или Parquet и интегрировать их в свою внутреннюю систему для комплексного анализа.

Однако ваши показатели должны находиться в регионе, указанном в конфигурации Storage Lens. Вы всегда можете изменить свою конфигурацию на панели инструментов Storage Lens или через AWS CLI и SDK.

Типы показателей

Итак, какие показатели вы получаете?

Вообще говоря, метрики делятся на использование и активность.

Показатели использования

Метрики использования показывают размер и объем вашего хранилища и включают в себя такую информацию, как:

• Общее количество сохраненных байтов.
• Средний размер и количество объектов.
• Количество активных сегментов и учетных записей.
• Процент и количество байтов и объектов в текущей версии.
• Количество и процент байтов и объектов, не принадлежащих текущей версии.
• Количество и процент объектов с маркером удаления.
• Общее количество и процент зашифрованных байтов и объектов.
• Количество и процент незашифрованных байтов и объектов.
• Процент и количество реплицированных байтов и объектов.
• Количество и процент байтов и объектов с включенной блокировкой объекта.
• Общее количество байтов и объектов с незавершенными составными загрузками и их процентное соотношение.

Все эти показатели доступны как в бесплатной, так и в платной версиях, а разница в том, что срок хранения составляет 14 дней для бесплатной версии и 15 месяцев для платной версии.

Метрики активности

Показатели активности являются частью расширенного плана и доступны только для платных участников. Они дают информацию о частоте доступа и загрузки.

Некоторая информация, которую он включает:

• Количество и процент запросов GET, PUT, Head, Delete, Post и Select.
• Количество просканированных, возвращенных и загруженных байтов.
• Процент скорости поиска.
• Коэффициент загрузки, который представляет собой количество загруженных байтов в процентах от общего количества байтов хранилища.
• Всего ошибок 4xx и 5xx и процент этих ошибок от общего количества запросов.

Эти метрики обязательно дадут информацию, необходимую для принятия решений и перекалибровки ваших краткосрочных и долгосрочных целей и бюджетов.

Рекомендации и предложения

Если вы подписались на расширенный план, вы также получаете рекомендации и предложения, основанные на вашем использовании и активности. Изюминкой является то, что каждая рекомендация размещена рядом с метрикой, на которой она основана, чтобы вам было легко ее понять.

Обратите внимание, что рекомендации недоступны для исторических данных, поскольку рекомендации относятся только к текущим данным, а не к прошлым. Кроме того, нет рекомендации для каждой метрики, и она доступна только тогда, когда она актуальна.

Эти рекомендации представлены в виде предложений и уточнений.

Предложения

Предложения основаны на ваших тенденциях использования и активности и направлены на то, чтобы дать вам идею оптимизации затрат или передовой опыт использования и защиты данных. Основываясь на предложении, вы также можете детализировать показатели, чтобы сравнить их с другими регионами или сегментами, в зависимости от обстоятельств.

Вызовы

Выноски предназначены для того, чтобы привлечь ваше внимание к какой-либо аномалии в вашем использовании и деятельности, чтобы вы могли исправить или проконтролировать ее. Это может быть внезапное изменение деятельности, затрат и т. д. Обычно они отображаются, когда они находятся в диапазоне +/- 20 процентов.

Эти призывы основаны на 30-дневном тренде, поэтому они актуальны, а не просто временный всплеск или падение. В то же время они не обязательно должны указывать на проблему, так как это может отражать некоторые действия, которые вы предприняли для лучшего согласования хранилища с потребностями вашего бизнеса.

Итак, отнеситесь серьезно к вызовам и посмотрите, что это такое, но не нужно паниковать.

Amazon S3 Storage Lens: инструмент для лучшего понимания

В целом, Amazon S3 Storage Lens — это удобный сервис, который дает централизованное подробное представление о вашем хранилище S3 и действиях. Его настройка и рекомендации обязательно повысят качество ваших решений и приведут его в соответствие с вашими бизнес-целями и бюджетом.

Ты это пробовал? Что вы думаете об этом?