Компания Elastic выпустила новую версию интегрированного решения Elastic Stack 7.0, сочетающего в себе программную поисковую систему Elasticsearch, механизм сбора данных и анализа журналов Logstash, а также платформу аналитики и визуализации Kibana. Релиз – результат более 10 тысяч запросов на включение изменений в код продуктов от 861 программистов, являющихся участниками open source сообщества Elastic.

Основные изменения затронули четыре аспекта Elastic Stack:

• Платформа Kibana получила глобальную навигацию, полный редизайн интерфейса и возможность сквозной активации режима dark mode

• Полностью перестроен слой координации кластеров для улучшения надежности и масштабируемости

• Новый алгоритм Block-Max WAND повышает скорость обработки запросов и вывода топовых результатов в Elasticsearch

• Модули Beats совместимы с Elastic Common Schema (ECS)

В Kibana 7.0 изменения коснулись прежде всего дизайна – теперь основной фокус сосредоточен на контенте, а пользовательский интерфейс стал более легким в использовании и минимально заметным при работе с продуктом.

Наиболее важные изменения затронули навигацию. Теперь она реализуется под единой «шапкой» рабочего окна программы, которая остается неизменной независимо от переключения между рабочими пространствами Kibana. Помимо этого, отображаются пути иерархической навигации, а также поддерживаются любые активности пользователя – смена пароля или выход из программы.

Реализована в новинке и еще одна востребованная пользователями функция – «темный режим» (dark mode), теперь он доступен для активации во всех окнах программы. Помимо этого, панели управления Kibana также получили улучшенный интерактивный дизайн, что особенно будет интересно пользователям, запускающим решение с мобильных телефонов или планшетов. В Elasticsearch апгрейд затронул возможности решения по масштабированию и устойчивости к катастрофическим сбоям в работе, для этого была разработана технология постоянной оптимизации работы координации кластеров вычислительных узлов (нод) Zen Discovery 2.

Zen2 – абсолютно новая разработка в составе Elasticsearch, которую отличают повышенная скорость, простота и безопасность использования, этого удалось достичь путем фокусировки на абсолютной точности нового распределенного алгоритма достижения консенсуса, построенного на использовании формальных моделей. Потребности нового вычислительного кластера Elasticsearch не могут удовлетворяться привычными алгоритмами достижения консенсуса: Paxos, Raft, Zab и Viewstamped Replication. Для нормальной работы обновленного Elasticsearch требуется кластер с гораздо более высокой пропускной способностью в области обработки изменений, поддерживающий обсчет резких сокращений и увеличений нагрузки, а также последовательное обновление кластеров с версии 6.7 до 7.0. Индивидуальные вычислительные узлы (ноды) также получили несколько важных обновлений в Zen2, например, умную маршрутизацию запросов при обнаружении превышения лимита на один узел.

Zen2 также включает в себя ряд апгрейдов, существенно снижающих вероятность человеческой ошибки и оптимизирует процесс восстановления работы системы после масштабных обвалов: обновления поддерживают одновременную оптимизацию надежности, производительности и пользовательского опыта.

Говоря непосредственно о процедуре поиска, помимо Block-Max WAND стоит отметить расширенные возможности по интервальному поиску. Например, при обработке поисковых запросов в области патентного права или юридических нормативов ключевые слова в тексте могут быть существенно разнесены друг от друга. Elasticsearch 7.0 поддерживает обработку интервальных запросов (interval queries) вместо привычной методики промежуточных запросов (span queries). Интервальный подход демонстрирует для этого класса задач существенно более высокую эффективность.