Основные моменты Elastic{ON} 2018: X-Pack открывает исходный код, ведет журнал и не только
Elasticsearch, возможно, является самым влиятельным инструментом ведения журнала с открытым исходным кодом, доступным на сегодняшний день. Он широко поддерживается платформами поставщиков и другими проектами с открытым исходным кодом и имеет огромное сообщество. На недавней конференции Elastic{ON} в Сан-Франциско были представлены кое-какие крутые новинки, которые материнская организация Elastic готовила за последний год — и она была полна полезностей для ведения журналов и многого другого. Давайте подробнее рассмотрим Elastic{ON} 2018.
Elastic{ON} 2018: Распаковка X-Pack
Во-первых, самым большим объявлением на Elastic{ON} 2018 стало открытие исходного кода для X-Pack, пакета премиальных функций, таких как мониторинг, отладка, управление производительностью приложений и многое другое. Раньше эти функции были доступны на коммерческой основе, но теперь, когда они имеют открытый исходный код, пользователи могут не только свободно использовать их, но и вносить свой вклад в исходный код. Этот шаг показывает уверенность Elastic в своем наборе продуктов и его способность внедрять инновации с помощью новых решений для мониторинга и поиска.
Некоторые части X-Pack все еще находятся под коммерческой лицензией, например, машинное обучение, безопасность и расширенные оповещения. Однако основная часть кода находится в открытом доступе, и это хорошая новость для пользователей Elasticsearch.
Данные: сверните это навсегда
На Elastic{ON} 2018 была запущена новая функция, которая особенно актуальна для ведения журналов. Это функция объединения данных. Он предназначен для хранения исторических данных журналов в части размера и стоимости, которые обычно требуются. Как правило, организации хранят данные журналов в высоком разрешении максимум несколько дней или недель, а сверх этого они хранят архивные данные журналов в течение нескольких месяцев, очень редко до нескольких лет. Благодаря функции объединения данных вы можете хранить журналы в сжатом виде за многие годы. Вы также можете выбрать желаемый уровень детализации; если, например, вы решили хранить журналы с ежедневным интервалом, вы можете запрашивать данные даже с более длительным интервалом, например еженедельно или ежемесячно.
Самое приятное то, что вы можете запрашивать исторические данные вместе с последними данными в одном запросе. Система автоматически придает важность последним данным, которые содержат больше деталей, но вы можете легко перейти к любой точке в прошлом, поскольку она отображается рядом с последними данными. Это дает вам лучшую перспективу при мониторинге ошибок и устранении неполадок, особенно очень сложных, которые охватывают несколько лет назад. Подумайте об утечках данных и чрезвычайных ситуациях, первопричиной которых может быть много лет назад; Возвращение назад, чтобы проследить эволюцию проблемы, может иметь неоценимое значение для определения того, насколько глубоко затронута система, а также для поиска пути к восстановлению. Вместо того, чтобы зацикливаться на стоимости хранения, почему бы не забыть об архивных данных и быть уверенным, что все они хранятся и легко доступны с помощью одного из самых быстрых инструментов запросов, доступных сегодня.
Beats для Docker и Kubernetes
Elastic также объявила о некоторых новых обновлениях на Elastic{ON} для своего инструмента Beats для мониторинга Docker и Kubernetes. Ключевыми компонентами Beats являются Metricbeat и Filebeat, которые обрабатывают метрики мониторинга и ведение журнала соответственно. Они размещаются на узлах, на которых запущены контейнеры Docker или модули Kubernetes, и сообщают о метриках и журналах в режиме реального времени. Они могут отправлять данные напрямую в Elasticsearch или в Logstash для предварительной обработки перед отправкой в Elasticsearch для анализа.
Важной новой функцией является возможность автоматического обнаружения частей системы по мере их постоянного изменения. Мало того, Beats прослушивает события и выполняет автоматические ответы на основе изменений. Это очень важно, учитывая, что автоматизация является ключевой областью деятельности большинства групп специальных интересов (SIG) Kubernetes, от сборки до развертывания, обновления и даже мониторинга. Elastic находится на правильном пути, сосредоточившись на автоматизации. Контейнерными системами, особенно Kubernetes, может быть сложно управлять из-за распределенного характера системы и ее динамичности. Это делает мониторинг необходимым для Kubernetes, а автоматический мониторинг — еще более ценным.
Beats также включает в себя другие функции, такие как Packetbeat для мониторинга сети и Heartbeat для мониторинга времени безотказной работы. Вместе все эти агенты могут дать вам полное представление о ваших системах Docker и Kubernetes в производственной среде. Чтобы упростить анализ данных, Beats позволяет добавлять метаданные ко всем входящим показателям и журналам. Для этого используются специальные процессоры метаданных. Будь то данные о ваших облачных ресурсах, ваших контейнерах Docker или ваших кластерах Kubernetes, вы можете пометить их, чтобы сделать их более управляемыми и простыми для анализа.
APM с Elasticsearch и Kibana
Elasticsearch до сих пор был известен своим мастерством, когда дело доходит до ведения журнала. Тем не менее, у Elastic большие планы на платформу, и она рассматривает метрики — особенно метрики мониторинга производительности приложений (APM) — как следующую большую область для роста. APM теперь является зрелым рынком с такими инструментами, как New Relic и AppDynamics, которые доминируют в этом сегменте, но Elastic считает, что у него есть секретный соус, чтобы бросить вызов конкурентам, даже будучи новичком.
Есть две сильные стороны Elastic по отношению к APM. Во-первых, его механизм запросов Elasticsearch не уступает лучшим и может обрабатывать большие объемы данных в режиме реального времени. На самом деле данные журналов намного сложнее, чем метрики, потому что они более неструктурированы. Если Elasticsearch может обрабатывать сложные данные журнала, он может есть метрики на завтрак.
Во-вторых, Kibana, несмотря на открытый исходный код, представляет собой очень совершенный инструмент визуализации и является ключом к предложению APM. APM предназначен для сопоставления различных показателей и сосредоточения внимания на проблеме, а визуализация является ключом к устранению неполадок такого рода. При оценке любого APM-инструмента визуализация является одним из ключевых критериев, и Kibana — это то, что делает Elastic в этом смысле.
Kibana позволяет создавать настраиваемые панели мониторинга, которые связаны друг с другом, зрелые параметры визуализации, функции сортировки и фильтрации показателей, и это выглядит просто великолепно. Она настолько хороша, что даже была показана в сериале «Мистер Робот». Robot», которую использует Эллиот, главный герой, специалист по безопасности и хакер. Консультант по технологиям сериала добрался до Elastic{ON}, чтобы рассказать об использовании Kibana в шоу, которое было одной из самых интересных частей конференции.
Сегодня существует множество бесплатных инструментов для отслеживания производительности веб-приложений. Например, dotcom-tools позволяет отслеживать различные аспекты производительности веб-сайта с помощью набора бесплатных инструментов, но APM выходит за рамки этих показателей и стремится предоставить более широкое представление о сквозной производительности приложений. Таким образом, хотя это помогает использовать бесплатные инструменты для конкретных показателей, особенно в начале, в конечном итоге вы захотите использовать инструмент APM, который может интегрировать широкий спектр показателей для сквозной видимости.
Возвращаясь к APM, трудно сказать, какое распространение получит Elastic на укоренившемся рынке APM. По крайней мере, его лояльная клиентская база, которая увидела свои сильные стороны в ведении журналов и полнотекстовом поиске, может иметь достаточно уверенности, чтобы попробовать. Помимо этого, многое будет зависеть от его маркетинговой мощи и от того, насколько четко Elastic сможет показать сильные стороны своего предложения по сравнению с конкурентами.
Машинное обучение и будущее
Еще одна интересная новая функция — возможность использовать машинное обучение для прогнозирования будущей производительности на основе прошлой производительности. До сих пор машинное обучение Elasticsearch ограничивалось прогнозированием текущей производительности в режиме реального времени. Теперь он делает еще один шаг, показывая прогнозы того, будет ли определенный показатель увеличиваться или уменьшаться с течением времени. Он делает этот прогноз на основе прошлых данных.
Чтобы прогнозы были точными, Elasticsearch нужна историческая запись данных, предпочтительно более трех недель. Если прошлых данных недостаточно, чтобы сделать обоснованное предположение, Elasticsearch уведомит вас об этом. Конечно, прошлое поведение не всегда является точным способом предсказать будущие результаты, но оно может быть надежным для многих сценариев. Это зарождающаяся область, созревшая для инноваций, и Elastic делает ранний старт, реалистично оценивая, чего ожидать от этой функции. Это доступно только в X-Pack в качестве коммерческого предложения, и его стоит изучить, если вы глубоко инвестировали в Elasticsearch и изучили большинство других функций, которые он предлагает.
В поисках лучшего поиска по сайту
Еще одна функция, которая является новой для Elasticsearch, но представляет собой интересную возможность с огромным потенциалом роста, — это поиск по сайту. Причина, по которой эта функция очень своевременна, заключается в том, что самое популярное решение — Google Site Search — было закрыто Google 1 апреля. Это заставляет многие организации искать альтернативы, и Elastic наживается на этом спросе. Теперь Elasticsearch — это полнотекстовая поисковая система, и то, как она может анализировать данные журналов, является доказательством ее способности обрабатывать не только числа, но и текстовые данные. А поиск по сайту — это всего лишь расширение полнотекстового поиска.
Инструмент поиска по сайту очень динамичен по своей природе, так как результаты поиска должны быть свежими и обновляться в режиме реального времени самыми последними результатами поиска. Он должен понимать, интерпретировать и реагировать на пользовательский ввод по мере того, как пользователь вводит запрос. Его должно быть легко реализовать на веб-сайте, независимо от того, какие технологии или платформы используются для создания веб-сайта. Наконец, он должен иметь хорошо продуманный пользовательский интерфейс, который позволяет пользователям получать результаты поиска, которые они ищут, за доли секунды. Это трудная задача, но Elastic считает, что ответ есть в их продукте для поиска по сайту.
Давать пользователям то, что они хотят
В Elastic{ON} было полно обновлений, и вам захотелось сесть и посмотреть, чем занимается команда. Самым большим обновлением стало открытие X-Pack. Однако новые продукты, такие как APM и поиск по сайту, не менее важны для компании. Наконец, такие интересные функции, как сбор данных, мониторинг и ведение журналов для контейнерных систем и машинное обучение, неудивительны, но вполне соответствуют требованиям современных пользователей. Как поклонник лесозаготовок, вы обязательно найдете все это захватывающим. Есть много всего, с чем можно поиграться, поэтому, если вы еще этого не сделали, скачайте Elasticsearch.