«Периодическая таблица элементов» для искусственного интеллекта

Сегодня искусственный интеллект всё чаще используется для объединения и анализа различных типов данных, включая текст, изображения, аудио- и видеоматериалы. Однако остаётся серьёзная проблема: разработчикам по-прежнему сложно выбрать алгоритм, который лучше всего подходит для конкретной задачи. В быстро развивающейся области мультимодального ИИ этот выбор действительно оказывается сложным и требует значительных затрат времени.

Американские учёные-физики предложили некоторый системный подход, заключающийся в формировании математической структуры, позволяющей упорядочить существующие методы ИИ и способствующей созданию более точных и эффективных алгоритмов под конкретные задачи.

В ходе проведённого исследования было обнаружено, что многие современные методы ИИ опираются на один и тот же фундаментальный принцип – сжимать данные, сохраняя при этом наиболее важную для прогнозирования информацию.

В предложенной новой системе различные методы занимают определённые ячейки в зависимости от того, какую информацию их функция потерь сохраняет, а какую отбрасывает. Это похоже на своеобразную «периодическую таблицу элементов» для ИИ.

Функция потерь

Функция потерь – это математическая функция, которая измеряет ошибку между предсказаниями модели и реальными данными и является одним из ключевых элементов любой системы машинного обучения.

Во время обучения эта функция позволяет алгоритму постоянно корректировать свои параметры для уменьшения величины ошибки. Чем меньше значение функции потерь, тем точнее будет работает модель.

Для мультимодальных систем ИИ созданы сотни различных функций потерь при том, что для разных случаев часто оказываются лучшими разные функции.

Вопрос, которым задались учёные был сформулирован так: существует ли более универсальный подход, который избавил бы от необходимости каждый раз начинать разработку практически с нуля?

Информационное «бутылочное горло»

В поисках ответа исследователи сформировали общую математическую структуру для построения функций потерь. Предложенный метод заключается в том, чтобы определить, какую информацию следует сохранить, а какую можно безболезненно отбросить. Разработанная система получила название Variational Multivariate Information Bottleneck Framework — Вариационная многомерная модель информационного «бутылочного горла».

Образно его реализация представляется в виде ручки настройки, поворачивая которую можно выбирать, какой объём информации необходимо сохранить для решения конкретной задачи. Считается, что с помощью нового инструмента разработчики смогут:

• проектировать новые алгоритмы;
• заранее оценивать вероятность их успеха;
• рассчитывать необходимый объём обучающих данных;
• прогнозировать возможные точки отказа системы.

Учёные полагают что такой подход способен привести к созданию более точных, эффективных и надёжных систем искусственного интеллекта.

С позиции физиков

Авторы исследования подошли к задаче иначе, чем многие специалисты по машинному обучению, обращая внимание не столько на результат как таковой, сколько на фундаментальные принципы, заложенные в механизмах его возникновения.

В результате учёные «нащупали» единый принцип, который описывает баланс между сжатием информации и её восстановлением. Выяснилось, что этот компромисс лежит в основе многих современных методов искусственного интеллекта. Гипотеза была протестирована на двух наборах данных и оказалось, что система автоматически выделяет общие и действительно важные признаки, присутствующие в обоих наборах.

Для проверки своего подхода исследователи применили новую схему к десяткам уже существующих алгоритмов ИИ. Результаты показали, что предложенная математическая структура успешно описывает многие популярные алгоритмы и помогает создавать новые функции потерь для конкретных задач. Кроме того, система может снизить и вычислительные затраты, поскольку если алгоритм хранит только действительно полезную информацию, то ему потребуется меньше данных для обучения и, соответственно, меньше вычислительной мощности для работы. Как следствие, уменьшение затраченной энергии имеет положительный экологический эффект.

От искусственного интеллекта к человеческому мозгу

Следующий этап исследований – применение разработанного подхода в биологии и нейронауках. Команда учёных попытается понять, каким образом человеческий мозг одновременно обрабатывает и сжимает информацию, поступающую из множества источников. Если результат окажется успешным, «периодическая таблица» искусственного интеллекта может стать не только инструментом для разработки новых алгоритмов, но и ключом к разгадке принципов работы человеческого мышления.

Источник: ScienceDaily

Изображение для иллюстрации. Источник: Magnific.com