Российские ученые нашли способ снизить расход ресурсов на работу классических систем ИИ
Исследователи из НИУ ВШЭ теоретически обосновали простой и вычислительно легкий метод оценки неопределенности для стохастического градиентного спуска — одной из популярных форм классического машинного обучения. Это открытие позволит уменьшить количество ресурсов, затрачиваемых на работу таких систем, что особенно важно в медицине, финансах и автономных системах.
Как сообщила пресс-служба НИУ ВШЭ, математическое доказательство позволяет пересмотреть отношение к простым эмпирическим методам оценки точности в машинном обучении: разработчики смогут получать надежные оценки неопределенности быстрее и с меньшими вычислительными затратами. Различные формы алгоритмов градиентного спуска широко применяются при решении задач оптимизации и для создания классических систем машинного обучения, не использующих нейросети в своей работе. Поскольку эти алгоритмы используют элементы случайности, важной характеристикой их решений является доверительный интервал — диапазон, в котором с высокой вероятностью находится истинное решение.
Традиционные способы построения таких интервалов требуют сложных статистических оценок, в частности явной оценки предельной ковариационной матрицы решения, что может быть дорого с точки зрения затрат времени и ресурсов или давать неточные оценки. Российские и зарубежные ученые заинтересовались тем, можно ли решить эту задачу при помощи простых математических подходов, которые не требуют повторного обучения модели и сложных вычислений. «Подобные методы уже применялись на практике, и часто они показывали лучшие результаты по сравнению с альтернативами. Мы хотели понять причину этого эмпирического преимущества и смогли дать ему строгую математическую интерпретацию», — пояснила младший научный сотрудник Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ Марина Шешукова.
