От нейронных связей в мозгу до машинного обучения: как развивались нейросети
лонгрид
Друзья, недавно у нас состоялась лекция с Александром Фонаревым, на которой мы узнали, как работают нейросети, на примерах убедились в их возможностях и обсудили вероятные направления их будущего развития. Если вы не смогли присутствовать на вебинаре или хотите освежить свои знания, вы можете посмотреть запись лекции.
В этом тексте мы подробнее выясним, как и когда возникли нейросети, более глубоко погрузимся в принципы их работы и получим список самых популярных сайтов и приложений, которые помогут нам в выполнении рабочих задач.
В этом тексте мы подробнее выясним, как и когда возникли нейросети, более глубоко погрузимся в принципы их работы и получим список самых популярных сайтов и приложений, которые помогут нам в выполнении рабочих задач.
Этапы развития нейросетей
Начался в 1943 году, когда нейрофизиолог Уоррен МакКаллох и математик Уолтер Питтс написали статью «Логическое исчисление идей, относящихся к нервной активности». Изучив принципы работы головного мозга, учёные выдвинули математическую модель нейрона. Здесь же возникло такое понятие как «пороговый элемент» — устройство, оперирующие двоичными числами. Исследователи предположили, что, как и их биологический прототип, нейроны способны обучаться и выполнять практические любые числовые и логические операции. Эта работа заложила основы двух основных подходов к изучению нейронных сетей. Один из них занимается непосредственно изучением биологических процессов в человеческом мозгу, а другой ориентирован на разработку искусственного интеллекта.
В 1949 году канадский нейропсихолог Дональд Хебб, которого считают одним из создателей теории искусственных нейронных сетей, предложил первый рабочий алгоритм их обучения в своей книге «Организация поведения: нейропсихологическая теория». Учёный предположил, что в процессе обучения формируются нейронные структуры, которые развиваются в результате стимуляции связей нейронов друг с другом. А уже в 1954 году учёные Массачусетского технологического института Уэсли Кларк и Бельмонт Фарли впервые смоделировали сеть Хебба на компьютере.
В 1958 году американский психолог Фрэнк Розенблатт предложил перцептрон — базовую модель машинного обучения, которая имитировала работу человеческого мозга. Такой прогресс, казалось, должен был ещё больше подогреть интерес к нейросетям, но в 1969 году была опубликована работа Марвина Минского и Сеймура Паперта «Перцептроны», в которой учёные рассказали об основных проблемах, связанных с искусственными нейронными сетями. Первая проблема заключалась в том, что однослойные нейросети не могли совершать функцию «Исключающее ИЛИ». Второй проблемой стало отсутствие достаточно мощных компьютеров, на которых можно производить нужный объём вычислений. Это несколько замедлило исследования в данной области.
Очередной рывок случился в 1975 году, когда японский учёный Кунихико Фукусима представил одну из первых многослойных нейросетей — когнитрон. Пять лет спустя он же разработал ещё одну модель — неокогнитрон, которая, в отличие от своего предшественника, гораздо в большей степени близка по устройству зрительной системе человека и способна распознавать объекты вне зависимости от их искажений и изменений масштаба.
В 1949 году канадский нейропсихолог Дональд Хебб, которого считают одним из создателей теории искусственных нейронных сетей, предложил первый рабочий алгоритм их обучения в своей книге «Организация поведения: нейропсихологическая теория». Учёный предположил, что в процессе обучения формируются нейронные структуры, которые развиваются в результате стимуляции связей нейронов друг с другом. А уже в 1954 году учёные Массачусетского технологического института Уэсли Кларк и Бельмонт Фарли впервые смоделировали сеть Хебба на компьютере.
В 1958 году американский психолог Фрэнк Розенблатт предложил перцептрон — базовую модель машинного обучения, которая имитировала работу человеческого мозга. Такой прогресс, казалось, должен был ещё больше подогреть интерес к нейросетям, но в 1969 году была опубликована работа Марвина Минского и Сеймура Паперта «Перцептроны», в которой учёные рассказали об основных проблемах, связанных с искусственными нейронными сетями. Первая проблема заключалась в том, что однослойные нейросети не могли совершать функцию «Исключающее ИЛИ». Второй проблемой стало отсутствие достаточно мощных компьютеров, на которых можно производить нужный объём вычислений. Это несколько замедлило исследования в данной области.
Очередной рывок случился в 1975 году, когда японский учёный Кунихико Фукусима представил одну из первых многослойных нейросетей — когнитрон. Пять лет спустя он же разработал ещё одну модель — неокогнитрон, которая, в отличие от своего предшественника, гораздо в большей степени близка по устройству зрительной системе человека и способна распознавать объекты вне зависимости от их искажений и изменений масштаба.
Первый этап
Второй этап
Охватывающий период с 1980-х по начало 2000-х, связан с разработкой метода обратного распространения ошибки и нелинейных функций активации.
Метод обратного распространения ошибки впервые был описан в 1974 году Полом Дж. Вербосом и позднее доработан в середине 1980-х Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом. Его особенность заключается в том, что сигналы ошибки распространяются от выходов к сети к её входам, в направлении, обратном распространению в обычном режиме. Это позволяет минимизировать ошибки работы многослойного перцептона. А благодаря нелинейным функциям активации стало возможным моделировать сложные взаимосвязи между входами и выходами.
Несмотря на то что метод обратного распространения ошибки стал настоящим прорывом в развитии нейросетей, он также не является универсальным решением. Основной проблемой, связанной с этим методом, является довольно долгий процесс обучения нейросети, который может растянуться на недели. Причин этому несколько. Во-первых, из-за больших объёмов анализируемой информации может случиться паралич сети. Чтобы избежать этого, можно уменьшить размер шага, но скорость процессов при этом значительно снизится. Учёные попытались решить эту проблему следующим способом. П. Д. Вассерман предложил адаптивный алгоритм выбора шага, который автоматически корректирует размер шага в процессе обучения, а А. Н. Горбань разработал разветвлённую технологию оптимизации обучения в своей книге «Обучение нейронных сетей». Во-вторых, ещё одна проблема, связанная с методом обратного распространения ошибки, заключается в поиске выхода из локальных минимумов. Сам метод обучения основан на градиентном спуске, то есть осуществляет спуск вниз по поверхности ошибки, подстраивая веса по направлению к минимуму. Поверхность ошибки сложной сети в результате этого сильно изрезана и состоит из холмов, долин, складок и оврагов в пространстве высокой размерности. Если сеть попадает в локальный минимум (неглубокую долину), несмотря на то что рядом имеется гораздо более глубокий минимум, она не способна из него выбраться.
Метод обратного распространения ошибки впервые был описан в 1974 году Полом Дж. Вербосом и позднее доработан в середине 1980-х Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом. Его особенность заключается в том, что сигналы ошибки распространяются от выходов к сети к её входам, в направлении, обратном распространению в обычном режиме. Это позволяет минимизировать ошибки работы многослойного перцептона. А благодаря нелинейным функциям активации стало возможным моделировать сложные взаимосвязи между входами и выходами.
Несмотря на то что метод обратного распространения ошибки стал настоящим прорывом в развитии нейросетей, он также не является универсальным решением. Основной проблемой, связанной с этим методом, является довольно долгий процесс обучения нейросети, который может растянуться на недели. Причин этому несколько. Во-первых, из-за больших объёмов анализируемой информации может случиться паралич сети. Чтобы избежать этого, можно уменьшить размер шага, но скорость процессов при этом значительно снизится. Учёные попытались решить эту проблему следующим способом. П. Д. Вассерман предложил адаптивный алгоритм выбора шага, который автоматически корректирует размер шага в процессе обучения, а А. Н. Горбань разработал разветвлённую технологию оптимизации обучения в своей книге «Обучение нейронных сетей». Во-вторых, ещё одна проблема, связанная с методом обратного распространения ошибки, заключается в поиске выхода из локальных минимумов. Сам метод обучения основан на градиентном спуске, то есть осуществляет спуск вниз по поверхности ошибки, подстраивая веса по направлению к минимуму. Поверхность ошибки сложной сети в результате этого сильно изрезана и состоит из холмов, долин, складок и оврагов в пространстве высокой размерности. Если сеть попадает в локальный минимум (неглубокую долину), несмотря на то что рядом имеется гораздо более глубокий минимум, она не способна из него выбраться.
Начинается в конце 2000-х — он стал возможен благодаря появлению алгоритмов Deep Learning. Сам термин появился ещё в 1986 году, но широкое применение глубинного обучения стало возможно только в середине 2000-х с появлением достаточно мощных компьютеров, чтобы обучать большие нейронные сети. Метод заключается в том, что нейросеть сама находит алгоритм решения задачи и учится на своих ошибках, постепенно выдавая всё более точный результат. В 2011 году обученная таким образом нейросеть впервые смогла добиться сверхчеловеческой производительности в конкурсе визуального распознавания объектов.
Deep Learning применяется, в основном, в трёх областях. Это машинный перевод (нейросеть умеет анализировать контекст и грамматику слов), компьютерное зрение (способность распознавать объекты на изображении), синтез и распознавание речи (это используется, например, в голосовых помощниках).
Deep Learning применяется, в основном, в трёх областях. Это машинный перевод (нейросеть умеет анализировать контекст и грамматику слов), компьютерное зрение (способность распознавать объекты на изображении), синтез и распознавание речи (это используется, например, в голосовых помощниках).
Третий этап
Современный этап
Данный этап развития нейросетей связан с появлением в 2020 году языковой модели GPT-3, которая быстро приобрела популярность и стала использоваться для различных текстовых задач. GPT-3 была разработана американский компанией OpenAI, основанной Илоном Маском и Сэмом Олтменом, и на данный момент является самой продвинутой языковой моделью в мире. Программа работает по принципу автопродления: пользователь вводит начало текста, а нейросеть генерирует наиболее вероятные варианты его продолжения на основе анализа большого массива текстовых данных.
22 октября 2020 года разработчики из Сбера объявили о начале работы над русскоязычным аналогом GPT-3. Модель получила название RuGPT-3. Она обучена на русскоязычных текстах разных стилей: художественной литературе, энциклопедийных статьях, материалах социальных сетей.
22 октября 2020 года разработчики из Сбера объявили о начале работы над русскоязычным аналогом GPT-3. Модель получила название RuGPT-3. Она обучена на русскоязычных текстах разных стилей: художественной литературе, энциклопедийных статьях, материалах социальных сетей.
Почему между понятиями «нейросети» и «искусственный интеллект» нельзя ставить знак равенства?
Искусственный интеллект — гораздо более широкое понятие, которое включает в себя возможность выполнения машинами задач, характерных только для человека, в том числе принятия самостоятельных решений. Это целая область компьютерных наук. Нейросети — это тип алгоритма машинного обучения, составная часть искусственного интеллекта, которая моделирует структуру человеческого мозга и используется для обработки больших объёмов данных.
Типология нейросетей: чем отличаются и какие задачи решают
Любая нейросеть состоит из нескольких слоёв:
входных
нейронные сети прямого распространения — передача информации осуществляется напрямую от входного слоя к выходному, соседние узлы слоя не связаны. Они используются, как правило, в комбинации с другими видами сетей;
свёрточные нейронные сети — состоят из слоёв пяти типов (входного, свёртывающего, объединяющего, подключённого, выходного), каждый из которых выполняет определённую задачу. Такие нейросети используются для классификации изображений, распознавания объектов, прогнозирования, обработки естественного языка и др.;
рекуррентные нейронные сети — используют направленную последовательность между узлами. В таких нейросетях результат вычислений на каждом предыдущем этапе используется в качестве исходных данных для следующего. Их применяют для языкового моделирования и генерации текстов, машинного перевода, распознавания речи и др.
скрытых
выходных
В каждом из этих слоёв есть несколько узлов, соединённых со всеми узлами в сети с помощью разных связей.
В зависимости от характера связи между слоями, выделяют разные типы нейросетей. Самые популярные из них три:
В зависимости от характера связи между слоями, выделяют разные типы нейросетей. Самые популярные из них три:
«Рок-звёзды» в мире нейросетей: самые интересные разработки
Рассказываем, какие инструменты помогут вам в работе и существенно облегчат жизнь.
Нейросети, свободно доступные на территории РФ:
- Kandinsky — нейросеть от Сбера, с помощью которой можно генерировать изображения по текстовому описанию или обрабатывать уже существующие.
- GigaChat — созданный Сбером чат-бот, который умеет отвечать на вопросы, генерировать изображения по запросу и даже поддержать беседу.
- TutorAI — сервис, который собирает учебные материалы по заданной теме и формирует готовые уроки.
- Aimyvoice — сервис для создания синтезированных голосов.
- Quizgecko — инструмент по созданию тестов и викторин.
- Tome — редактор для создания презентаций и туториалов.
- Talk to Books — сервис, с помощью которого можно «пообщаться» с книгами.
- Humaaans — бесплатное веб-приложение для создания рисунков человечков.
- WatermarkRemover.io — инструмент для удаления водяных знаков с изображений.
- Erase.bg — инструмент для удаления фона изображений.
- DeepL — самый точный онлайн-переводчик в мире.
- Otter.ai — сервис для записи видеоконференций и создания на их основе текстовых заметок.
Нейросети, доступные на территории РФ при наличии иностранной банковской карты и использовании VPN-сервисов:
- Chat GPT — нашумевший чат-бот, генерирующий тексты.
- Midjourney — один из лучших сервисов для создания изображений по текстовому описанию на английском языке.
- GitHub Copilot — нейросеть, которая даёт советы по написанию программного кода.
«Восстание машин»: стоит ли переживать?
Существуют опасения, что нейросети в ближайшем будущем вытеснят человека с рынка труда и многие профессии просто исчезнут. Хорошая новость в том, что нейросети — наши помощники, а не конкуренты. Использование нейросетей избавит нас от многих будничных задач, но никогда не сможет полностью заменить человеческий труд.
Нашумевший ChatGPT сейчас активно применяется, например, в IT-сфере. Нейросеть может быстро и качественного написать код или выявить ошибку в уже написанном. Также нейросеть может генерировать тексты для новостей — и хотя пока полученный результат не всегда соответствует ожиданиями, в дальнейшем обучаемость нейросетей будет только повышаться. Нейросети удобны для сбора и анализа данных. Это можно использовать в самых разных сферах: маркетинге, юриспруденции, IT. Также нейросети за считанные секунды генерируют изображения отличного качества и детализации.
Забавный случай произошёл в апреле 2023 года. Когда немецкий фотограф Борис Эльдагсен выиграл конкурс Sony World Photography Awards в категории «Креатив», мужчина отказался от награды и рассказал, что на самом деле фотографию, которую он прислал, сгенерировала нейросеть. По его словам, он не собирался никого обманывать, а лишь хотелось продемонстрировать возможности нейросетей и выразить свои опасения касательно будущего фотографии. Пользователи соцсетей, узнавшие об этом истории, немало удивились: при внимательном взгляде заметно, что нейросеть неважно справилась с генерацией пальцев рук героев снимка.
Нашумевший ChatGPT сейчас активно применяется, например, в IT-сфере. Нейросеть может быстро и качественного написать код или выявить ошибку в уже написанном. Также нейросеть может генерировать тексты для новостей — и хотя пока полученный результат не всегда соответствует ожиданиями, в дальнейшем обучаемость нейросетей будет только повышаться. Нейросети удобны для сбора и анализа данных. Это можно использовать в самых разных сферах: маркетинге, юриспруденции, IT. Также нейросети за считанные секунды генерируют изображения отличного качества и детализации.
Забавный случай произошёл в апреле 2023 года. Когда немецкий фотограф Борис Эльдагсен выиграл конкурс Sony World Photography Awards в категории «Креатив», мужчина отказался от награды и рассказал, что на самом деле фотографию, которую он прислал, сгенерировала нейросеть. По его словам, он не собирался никого обманывать, а лишь хотелось продемонстрировать возможности нейросетей и выразить свои опасения касательно будущего фотографии. Пользователи соцсетей, узнавшие об этом истории, немало удивились: при внимательном взгляде заметно, что нейросеть неважно справилась с генерацией пальцев рук героев снимка.
Похожий случай произошёл и на конкурсе изобразительных искусств в штате Колорадо. Там выиграла картина «Пространственный театр оперы» Джейсона Аллена, которую он сгенерировал в Midjourney. Впрочем, нельзя сказать, что нейросеть выполнила всю работу за художника: Аллен несколько недель корректировал свой запрос, чтобы добиться желаемого результата, а потом дорабатывал получившееся изображение в редакторах.
Значит ли это, что будущее уже наступило и совсем скоро роботы вытеснят человека с рынка труда? Не совсем. В 2013 году году учёные из Оксфордского университета создали на основе проведённых исследований сайт willrobotstakemyjob.com, который анализируют верояность исчезновения той или иной профессии. Достаточно вбить название своей специальности и узнать, какие прогнозы делают учёные.
По оценкам исследователей, беспокоиться не стоит. Нейросети беспомощны там, где есть речь о качествах, присущих только человеку: решительности и умении взять на себя ответственность, эмпатии и сострадании, чувстве прекрасного и воображении.
Очевидно, что несмотря на то что эксперименты с нейросетями всё чаще встречаются в искусстве, заменить художников, писателей, режиссёров и других креативных специалистов ИИ не сможет — ведь мы ценим не столько качество исполнения, сколько уникальное авторское видение. По этой же причине журналистику тоже не отдадут на откуп нейросетям — нам важно не только получать информацию, но и знакомиться с её анализом и разными интерпретациями.
Определённо сохранят свои рабочие места сотрудники медицинской и образовательной сфер. Да, благодаря технологиям стали возможны операции, которые ещё в начале прошлого века казались чем-то из области фантастики, а онлайн-образование уже стало привычным и повсеместным. Однако никакой робот не заменит врача, которому необходимо экстренно принять решение и поддержать пациента, или учителя, способного своим примером «зажечь» студента.
Нейросети способны составить конкуренцию там, где задача сотрудника состоит в сборе и анализе данных — автоматизированные программы могут справиться с этими задачами быстрее и эффективнее, а также во всём, что связано с рутинной и монотонной работой. В ближайшем будущем может значительно сократиться количество кассиров, нотариусов, банковских работников, турагентов. Тем не менее на освободившиеся места придут не только роботы, но и новые профессии, связанные с работой с нейросетями.
Поэтому нейросети — это действительно полезный и качественный инструмент, который облегчит выполнение многих рутинных задач, но никогда не сможет заменить человека и человечность.
По оценкам исследователей, беспокоиться не стоит. Нейросети беспомощны там, где есть речь о качествах, присущих только человеку: решительности и умении взять на себя ответственность, эмпатии и сострадании, чувстве прекрасного и воображении.
Очевидно, что несмотря на то что эксперименты с нейросетями всё чаще встречаются в искусстве, заменить художников, писателей, режиссёров и других креативных специалистов ИИ не сможет — ведь мы ценим не столько качество исполнения, сколько уникальное авторское видение. По этой же причине журналистику тоже не отдадут на откуп нейросетям — нам важно не только получать информацию, но и знакомиться с её анализом и разными интерпретациями.
Определённо сохранят свои рабочие места сотрудники медицинской и образовательной сфер. Да, благодаря технологиям стали возможны операции, которые ещё в начале прошлого века казались чем-то из области фантастики, а онлайн-образование уже стало привычным и повсеместным. Однако никакой робот не заменит врача, которому необходимо экстренно принять решение и поддержать пациента, или учителя, способного своим примером «зажечь» студента.
Нейросети способны составить конкуренцию там, где задача сотрудника состоит в сборе и анализе данных — автоматизированные программы могут справиться с этими задачами быстрее и эффективнее, а также во всём, что связано с рутинной и монотонной работой. В ближайшем будущем может значительно сократиться количество кассиров, нотариусов, банковских работников, турагентов. Тем не менее на освободившиеся места придут не только роботы, но и новые профессии, связанные с работой с нейросетями.
Поэтому нейросети — это действительно полезный и качественный инструмент, который облегчит выполнение многих рутинных задач, но никогда не сможет заменить человека и человечность.
Выводы
Свою историю нейросети ведут ещё с середины прошлого века, когда была разработана математическая модель нейрона, а исследователи пришли к мысли о создании искусственного интеллекта на её основе.
Нейросети используют в самых разных сферах человеческой деятельности: генерировании изображений и текстов, распознавании объектов, переводе, написании программного кода и др.
Нейросеть — это составная часть искусственного интеллекта, но не сам искусственный интеллект.
Нейросети — полезный инструмент работы, который поможет избавиться от многих рутинных и изматывающих задач, но сможет полностью заменить человеческую деятельность и не вытеснит нас с рынка труда.
ChatGPT дает много возможностей, но мы должны помнить о том, что большая сила подразумевает большую ответственность. Поэтому мы подготовили инструкцию о мерах предосторожности при работе с ChatGPT, а также о том, как зарегистрироваться и начать использовать этот сервис.