Нейросети тоже страдают от нехватки сна

Нейросети тоже страдают от нехватки сна

Одной из отличительных особенностей техники является тот факт, что современные машины не нуждаются в отдыхе – по крайней мере, в традиционном понимании сна, жизненно необходимого обладателям центральной нервной системы. Впрочем, эксперты считают, что не за горами то время, когда даже обычный тостер не откажется от полноценного сна – равно как и автомобиль, холодильник и любая другая техника, революционизированная при помощи продвинутых технологий искусственного интеллекта.


По мнению учёных, по мере приближения сложности структуры нейросетей к человеческому мозгу и их массового внедрения в широкий спектр устройств, зависящих от традиционных процессоров, сон станет базовой потребностью электротехники. По крайней мере, к такому выводу пришли исследователи Лос-Аламосской национальной лаборатории, сотрудники которой уже много лет трудятся над развитием систем, способных действовать с эффективностью нейронов человеческого мозга.


Мысль о том, что недостаток сна может оказывать негативное влияние на искусственный интеллект, пришла к учёным в ходе разработки нейросети, имитирующей работу органов зрения человека и прочих биологических видов. Исследователи наблюдали за тем, как нейросеть решала различные задачи без вмешательства со стороны экспериментатора – такой метод машинного обучения называют «обучением без учителя». В ходе эксперимента система должна была классифицировать незнакомые объекты, не имея в своей базе данных образцов для сравнения.

Попробуйте показать ребёнку много карточек с незнакомыми животными и попросить сгруппировать их по каким-либо признакам. Ребёнок может не знать названия антилопы, но с большей долей вероятности он подсознательно поместит парнокопытное отдельно от пингвинов или львов. Для родителя или учителя не будет сюрпризом, что после продолжительных упражнений ребёнок устанет и начнёт делать больше ошибок. К удивлению исследователей, спустя несколько часов решения задач нейросеть также стала демонстрировать признаки усталости и нестабильной работы. Впрочем, после погружения в состояние, аналогичное тому, что испытывает человеческий мозг во время сна, стабильность нейросети пришла в норму. Всё выглядело так, будто учёные дали искусственному интеллекту хорошенько вздремнуть.

 
Подобная нестабильность характера не для всех нейросетей. Проблемы с «усталостью» возникают только в ходе тренировки процессоров, подражающих реальным биологическим процессам. В случае американских исследователей нейросеть спонтанно генерировала случайные изображения, будто галлюцинируя из-за недостатка сна. Чтобы стабилизировать систему, учёные экспериментировали с различными типами цифрового шума, похожего на шипение радио при переключении между станциями или отсутствии сигнала. Наилучших результатов удалось добиться при использовании диапазона частот, аналогичных низкоамплитудным медленным ритмам, наблюдаемым в человеческом мозге в фазе медленноволнового сна. Медленный сон характерен снижением активности всех систем организма: он жизненно важен для восстановления энергозатрат.


Не стоит путать это сонное состояние нейросетей со спящим режимом обычных ПК. Режим сна можно сравнить с введением устройства в состояние анабиоза. В это время большая часть вычислительных процессов останавливается, будто замирая во времени. В таком случае старый-добрый совет «выключить и включить» подвисший ПК будет аналогичен кратковременной смерти мозга. Увы, ни режим сна, ни перезагрузка не помогут стабилизировать «уставшую» нейросеть, а недолгое прекращение активности лишь уничтожит результаты тренировки, одарив систему амнезией. Другими словами, как для большинства живых организмов, так и для биологических нейросетей сон – это не отсутствие деятельности, но иной тип активности, жизненно необходимый для восстановления надлежащего образа функционирования нейронов.


По словам Гаретта Кеньона из Лос-Аламосской национальной лаборатории, лишь в последнее время учёные начинают осознавать пользу искусственного сна в обеспечении эффективной и стабильной работы искусственного интеллекта. Кроме того, исследователи ожидают, что развитие нейросетей, структура которых будет всё больше походить по своей сложности на человеческую нервную систему, также поможет углубить наши познания об особенностях сна живых организмов и прочих характеристиках биологических систем.


Подписывайтесь на «Гродно 24» в Дзен Новости и на наш канал в Дзен

Поделись публикацией

Самые популярные публикации


Следи за нами в социальных сетях