Может ли искусственный интеллект предсказать скрытый сбой в работе Интернета?

В работе Интернета иногда возникают необычные сбои: маршрутизатор, на первый взгляд, работает нормально, но незаметно теряет часть передаваемых пакетов данных. Сетевые инженеры называют такие неполадки «черными дырами» (black holes). В подобных ситуациях данные поступают в сеть, однако часть из них бесследно исчезает, а маршрутизатор не сообщает об этом ни узлам сети, ни отправителю. Зачастую такие проблемы остаются незамеченными до тех пор, пока пользователи не столкнутся с перебоями в соединении или потерей данных.

Группа турецких учёных разработала метод для выявления признаков, указывающих на скрытые сбои в сетях, на базе искусственного интеллекта. Этот подход призван выявлять признаки, которые могут указывать на приближение подобных скрытых сбоев. Цель разработки — перейти от простого обнаружения потерь пакетов к распознаванию ранних признаков возможных отказов сети.

В предложенном исследователи объединили различные методы машинного обучения, позволяющие отслеживать изменения сетевого трафика в магистральных сетях с течением времени. Система не ограничивается выявлением только очевидных проблем, а выявляет едва заметные закономерности, которые трудно отличить от нормальной работы сети.

При условии доработки до практического применения этот метод прогнозирования позволит операторам сетей получать дополнительное время на анализ проблем, перенаправление трафика или принятие превентивных мер до того, как пользователи столкнутся с перебоями в соединении.

Когда внешне нормальный трафик указывает на проблему

«Черные дыры» в сети трудно прогнозировать, поскольку они зачастую не сопровождаются явными признаками надвигающейся проблемы. Внезапный и резкий всплеск сетевого трафика обычно легко распознать как аномалию.

Однако существуют и менее очевидные проблемы. Например, измеренный трафик может выглядеть вполне обычным, но вызвать подозрения, если он зафиксирован в необычное время или неожиданно отличается от показателей соседних потоков данных. Кроме того, отдельные измерения могут казаться нормальными, но в совокупности они могут сформировать необычную картину. Такие явления называют точечными, контекстными и коллективными аномалиями.

Предыдущие исследования, посвященные так называемым «магистральным черным дырам» (backbone black holes), были сосредоточены на выявлении конкретных аномалий, тогда как новый подход призван охватить все три их типа в рамках единой прогностической системы. Система ищет не только явные отклонения, но и оценивает, насколько текущая ситуация соответствует характерным для недавнего времени показателям сетевого трафика. Благодаря этому можно обнаруживать тревожные признаки, которые в противном случае остались бы незамеченными на фоне внешне нормальной работы сети.

Обучение на трудно детектируемых сбоях

Выявление «черных дыр» в сети — сложная задача, ещё и потому, что трудно собрать достаточное количество подтвержденных примеров таких инцидентов. «Черные дыры», являющиеся следствием аппаратных сбоев, ошибок конфигурации, проблем с маршрутизацией или ошибок реализации программного обеспечения, часто возникают без явных уведомлений, оставляя после себя минимум исторических данных. Чтобы решить эту проблему, исследователи разработали метод обучения на неразмеченном сетевом трафике.

Система не требует от инженеров разметки тысяч примеров как «нормальных» или относящихся к «черным дырам», а самостоятельно выявляет аномальное поведение сети, анализируя передаваемые данные.

Обработка выполняется в несколько этапов. Сначала система выявляет наиболее очевидные отклонения. Далее, вместо того чтобы просто отбрасывать, алгоритм временно сглаживает их, помогая модели усваивать типичные закономерности изменения трафика во времени. Затем анализируются последовательности измерений для обнаружения малозаметных предупреждающих признаков, проявляющихся только в определенном контексте. С технической точки зрения это решение объединяет методы кластеризации, анализа временных рядов и глубокого обучения в рамках трехэтапной модели прогнозирования.

Тестирование метода на реальном сетевом трафике

Исследователи проверили разработанный метод как на реальном трафике магистральной сети интернет-провайдера, так и на общедоступных наборах данных, широко используемых в исследованиях сетевых аномалий. Реальный набор данных включал 17 280 измерений, выполненных с пятиминутным интервалом на протяжении 60 дней. Однако ввиду того, что реальные инциденты типа «черная дыра» (black-hole incidents) сложно обнаружить и классифицировать, эти данные не позволяли сформировать исчерпывающий перечень произошедших событий для проверки точности модели.

Поэтому для количественной оценки результатов дополнительно использовались два известных набора данных с размеченными сетевыми аномалиями — UNSW-NB15 и ToN_IoT. Эти данные преобразовывались в формат временных рядов для сравнения результатов работы разработанной модели с показателями других методов обнаружения аномалий, не требующих предварительного обучения (методов обучения «без учителя»).

При интерпретации результатов важно было учитывать, что эти общедоступные наборы данных содержат информацию о различных видах аномальной и вредоносной сетевой активности, но не содержат данные о реальных инцидентах типа «черная дыра». При работе с размеченными данными предложенный подход обеспечил уровень обнаружения до 98%, превзойдя по эффективности другие участвовавшие в сравнении прогностические модели, работающие «без учителя».

Команда также протестировала свой метод на неразмеченных реальных данных интернет-провайдера. Эксперименты показали, что их подход с использованием скользящего окна позволяет выявлять закономерности, характерные для «черных дыр» незадолго до их возникновения — в пределах пятиминутного горизонта прогнозирования.

От реагирования к прогнозированию

«Наша цель — перейти от реагирования на уже произошедшие сбои к их прогнозированию», — поясняют авторы исследования.

Исследователи рассматривают эту работу как шаг к созданию систем управления сетью, способных выявлять возникающие проблемы, а не просто регистрировать сбои постфактум.

Получив своевременное предупреждение, сетевые операторы смогут проверить проблемный маршрутизатор, перенаправить трафик или принять иные превентивные меры, прежде чем возникшая «черная дыра» приведет к длительному нарушению связи.

Тем не менее, данное исследование пока не доказывает, что система способна предотвращать реальные сбои в работе Интернета. Её эффективность может варьироваться в зависимости от особенностей конкретной сети и данных, использованных для обучения. Кроме того, внесение изменений в сетевую инфраструктуру может потребовать повторного переобучения модели.

В дальнейшем учёным предстоит проверить предложенный подход на более широком спектре типов и конфигураций сетей, рассмотреть возможность автоматического переобучения моделей по мере изменения инфраструктуры, а также внедрить методы интерпретируемого искусственного интеллекта. Это должно помочь операторам понимать, почему те или иные особенности трафика расцениваются системой как подозрительные.

Источник: TechXplore

Изображение для иллюстрации. Источник: magnific.com, автор DC Studio.