УДК 519.856+519.24
СРАВНИТЕЛЬНЫЙ АНАЛИЗ МОДИФИКАЦИЙ МЕТОДА СТОХАСТИЧЕСКОГО ГРАДИЕНТА ПРИ РЕШЕНИИ ЗАДАЧИ РЕГРЕССИИ
Воробьев Иван Григорьевич, студент, направление подготовки 01.03.02 Прикладная математика и информатика, Оренбургский государственный университет, Оренбург
e-mail: ivanexplay2000@gmail.com
Гришина Любовь Сергеевна, аспирант, направление подготовки 02.06.01 Компьютерные и информационные науки, Оренбургский государственный университет, Оренбург
e-mail: zabrodina97@inbox.ru
Научный руководитель: Болодурина Ирина Павловна, доктор технических наук, профессор, заведующий кафедрой прикладной математики, Оренбургский государственный университет, Оренбург
e-mail: prmat@mail.osu.ru
Аннотация. В настоящее время регрессионный анализ данных является одним из наиболее мощных методов выявления характера зависимостей для построения математических моделей. Одним из наиболее актуальных и эффективных методов её решения являются оптимизационные методы машинного обучения. Точность получаемого решения во многом зависит как от выбранного метода, так и от его параметров. Данное исследование направлено на реализацию некоторых стохастических методов оптимизации и рассмотрения различных темпов обучения для них с целью анализа их влияния на точность решения регрессионной задачи. Рассматривались следующие методы: SGD, SAG, Momentum, NAG. Результаты вычислительных экспериментов на синтетических данных показали, что наиболее точное решение регрессионной задачи обеспечивает метод NAG. Разработанное программное обеспечение может быть использовано для дальнейших исследований, направленных на поиск оптимизационных методов, дающих наиболее точное решение регрессионных задач.
Ключевые слова: регрессия, оптимизация, стохастический градиентный спуск, темп обучения.
Для цитирования: Воробьев И. Г., Гришина Л. С. Сравнительный анализ модификаций метода стохастического градиента при решении задачи регрессии // Шаг в науку. — 2021. — № 4. — С. 46–51.
