Всякая достаточно развитая технология неотличима от магии.
— Артур Кларк
Разделы главы
Может ли машина мыслить?#
В 1950 году Алан Тьюринг, который за четырнадцать лет до этого описал на бумаге универсальную вычислительную машину, опубликовал статью «Вычислительные машины и разум». По-русски она вышла в 1960 году отдельной книжкой под названием «Может ли машина мыслить?». Статья начинается словами: «Я предлагаю рассмотреть вопрос: могут ли машины мыслить?» Тьюринг сразу признаёт, что в такой форме вопрос бессмыслен, потому что неясно, что значит «мыслить», и предлагает заменить его игрой. Судья переписывается с двумя собеседниками, человеком и машиной, не видя их. Если он не может уверенно отличить, кто есть кто, на каком основании отказывать машине в мышлении?
Самое интересное в статье — разбор возражений. Тьюринг по очереди отвечает богословам, математикам, ссылающимся на теорему Гёделя, и тем, кто считает, что у машины не может быть чувств. Отдельно он разбирает «возражение леди Лавлейс». Ада Лавлейс, писавшая алгоритмы для так и не построенной машины Бэббиджа, утверждала, что машина ничего не создаёт сама и делает только то, что мы умеем ей приказать. Тьюринг отвечает, что машины удивляют его постоянно, и предлагает не программировать взрослый разум, а вырастить его из «машины-ребёнка» обучением. Через семьдесят лет обучение на примерах действительно стало главной дорогой искусственного интеллекта.
Тьюринг предсказывал, что примерно к 2000 году средний судья после пяти минут разговора будет угадывать правильно не чаще чем в семи случаях из десяти. Большие языковые модели, появившиеся в начале 2020-х, сделали этот прогноз предметом настоящих опытов, а не застольных споров. В 2025 году психологи Кэмерон Джонс и Бенджамин Берген из Калифорнийского университета в Сан-Диего провели игру почти по правилам Тьюринга: судья пять минут одновременно переписывался с человеком и с программой, а потом решал, кто есть кто. Модель GPT-4.5, которой велели изображать замкнутого молодого человека, знатока интернет-культуры и сленга, судьи признали человеком в 73 случаях из ста, то есть чаще, чем настоящих людей. Но результат сильно зависит от условий: без заданной роли та же модель побеждала лишь примерно в трети разговоров, а судьями были студенты-психологи и добровольцы с платформы для онлайн-опросов, а не специалисты. Так что на 2026 год честнее сказать: предсказанный Тьюрингом уровень убедительности достигнут в отдельных условиях опыта, на четверть века позже названного им срока и не раз и навсегда. И главный вопрос от этого не решился, а стал острее. Нейробиолог Анил Сет в книге «Быть собой» настаивает, что сознание вырастает из живого тела, которое заботится о своём выживании, и умение говорить ещё не означает переживания. Питер Уоттс в «Ложной слепоте» задаёт тот же вопрос в форме романа: может ли разум быть мощным и при этом совершенно пустым внутри?
Правила против примеров#
Первые полвека исследователи искусственного интеллекта шли в основном одной дорогой: записать знания и правила рассуждения явно. Если у пациента температура и сыпь, проверить корь. Такие экспертные системы неплохо работали в узких областях, но ломались, как только мир выходил за пределы написанных правил. Мир оказался слишком сложным, чтобы описать его вручную. Стюарт Рассел и Питер Норвиг в учебнике «Искусственный интеллект: современный подход», по которому учатся студенты по всему миру, прослеживают эту историю подъёмов и «зим», когда деньги и интерес к области иссякали.
Даже самые проницательные люди ошибались в прогнозах. Дуглас Хофштадтер в книге «Гёдель, Эшер, Бах» в 1979 году перечислил свои догадки о будущем ИИ и среди прочего предположил, что программа, способная обыграть в шахматы любого человека, будет заодно умной во всём остальном. В 1997 году компьютер Deep Blue выиграл матч у Гарри Каспарова и при этом не умел ничего, кроме шахмат. Выяснилось, что задачи, которые нам кажутся вершиной мышления, порой решаются грубой силой перебора, а то, что умеет любой трёхлетний ребёнок, например узнать маму в профиль, даётся машине гораздо труднее.
Ответом стала вторая традиция, машинное обучение. Вместо правил машине дают примеры и позволяют ей самой найти закономерности. Математик Роджер Пенроуз в «Новом уме короля» спорил с этим направлением с другой стороны: он доказывал, что человеческое понимание по природе не сводится к алгоритму, и ссылался на того же Гёделя. Большинство специалистов с ним не согласны, но его книга остаётся лучшим изложением позиции скептиков.
Как учится сеть#

Нейронная сеть состоит из множества простых элементов, соединённых связями разной силы, отдалённо похожих на нейроны и синапсы. Сеть получает на вход, скажем, изображение рукописной цифры, выдаёт ответ, сравнивает его с правильным и чуть-чуть подстраивает силу каждой связи, чтобы в следующий раз ошибиться меньше. Это родственник отрицательной обратной связи, знакомой по центробежному регулятору паровой машины: результат сравнивают с желаемым и поправляются по ошибке, только поправки идут в миллионах и миллиардах связей сразу и меняют не скорость машины, а саму сеть. Тарик Рашид в книге «Создаём нейронную сеть» проводит читателя по этому пути шаг за шагом, с карандашом и школьной математикой: в конце у читателя работает собственная сеть на Python, которая распознаёт рукописные цифры почти без ошибок.
Идеи нейронных сетей существовали с 1940–1950-х годов, и долго казалось, что это тупик. Франсуа Шолле, создатель одной из популярных библиотек глубокого обучения, объясняет, чего не хватало: горы размеченных данных и вычислительной мощности. Интернет дал первое, графические процессоры, созданные для компьютерных игр, — второе. Перелом случился в 2012 году, когда глубокая сеть с большим отрывом выиграла конкурс по распознаванию изображений ImageNet, и за несколько лет та же техника захватила распознавание речи, перевод и медицинские снимки.
Языковые модели, с которыми к 2026 году разговаривают сотни миллионов людей, учатся на удивление простой задаче: угадывать следующее слово в тексте. Модели показывают триллионы слов из книг, статей и сайтов, и после каждой ошибки связи чуть-чуть подправляются. Чтобы хорошо угадывать продолжение, приходится уловить грамматику, факты, стиль, ход рассуждения и даже то, чего хочет собеседник, поэтому из скромной задачи вырастают способности, которых никто прямо не закладывал. Отсюда и главный спор вокруг таких систем. Одни видят в них зачаток понимания, другие называют их «стохастическими попугаями», которые искусно перемешивают прочитанное. Честный ответ пока звучит так: модели умеют больше, чем позволяет объяснить слово «попугай», и меньше, чем обещают рекламные буклеты. Самое непривычное в них другое: даже создатели не могут до конца объяснить, как именно модель приходит к ответу. Станислав Лем в «Сумме технологии» ещё в 1964 году предупреждал, что техника, развиваясь подобно биологической эволюции, может породить системы, которые работают, не будучи понятыми. Через шестьдесят лет это предупреждение стало будничной инженерной задачей, и у неё появилось своё направление исследований — интерпретируемость.
Виктор Майер-Шёнбергер и Кеннет Кукьер в «Больших данных» показывают, как меняется сам подход к знанию: при достаточном количестве данных корреляция часто работает лучше, чем понимание причин. Сервис может не знать, почему вам понравится этот фильм, и всё равно угадать. Это сильное и опасное утверждение. Джон Келлехер и Брендан Тирни в «Науке о данных» трезво напоминают, что большую часть времени специалист тратит на подготовку и чистку данных, а сеть, обученная на данных, наследует все их перекосы. Если в прошлом банк реже давал кредиты какой-то группе людей, обученная на его архиве модель воспроизведёт эту несправедливость и спрячет её за видимостью беспристрастной математики.
Мозг из кремния?#
Рэймонд Курцвейл в «Эволюции разума» утверждает, что новая кора устроена как иерархия одинаковых распознавателей образов, около трёхсот миллионов модулей, каждый из которых узнаёт свой узор и передаёт результат выше. Воспроизведите эту иерархию в кремнии, считает он, и получите разум. Нейробиологи относятся к этой схеме скептически: мозг состоит из сети нейронов, а ещё из химии, гормонов, тела и миллионов лет эволюции, которые в схему не помещаются. Но успехи последних лет показывают, что даже грубое подражание мозговой архитектуре даёт поразительные результаты.
Митио Каку в «Физике невозможного» отводит роботам отдельную главу и разбирает два подхода к ним: сверху вниз, когда в машину закладывают правила и картину мира, и снизу вверх, когда она учится сама, как ребёнок. Главная преграда, по Каку, в здравом смысле, том необъятном запасе очевидных для человека вещей (вода мокрая, верёвкой можно тянуть, но нельзя толкать), которые никто никогда не записывал. Языковые модели середины 2020-х набрали удивительно много такого знания из текстов, но всё ещё обнаруживают странные провалы как раз там, где ребёнок не ошибётся.
Жизнь 3.0#
Макс Тегмарк, физик из Массачусетского технологического института, открывает книгу «Жизнь 3.0» короткой повестью. Небольшая команда тайно создаёт сверхразумную программу, та сначала зарабатывает деньги на мелких онлайн-заказах, потом выпускает фильмы и компании, и за пару лет команда незаметно получает власть над миром. Притча нужна Тегмарку, чтобы показать: самые важные решения могут принять немногие люди, не спрашивая остальных.
Основная мысль книги — смотреть на ИИ как на новую ступень эволюции. Тегмарк предлагает авторскую схему, которая делит жизнь по тому, насколько она сама может переделать собственное устройство. Жизнь 1.0 биологическая: бактерия, конечно, реагирует на среду, плывёт к пище и включает нужные гены, но в этой схеме её «железо» и «софт» в основном задаёт биологическая эволюция, а не собственный опыт. Реальная биология сложнее метафоры: бактерии, например, обмениваются генами и напрямую, без смены поколений. Жизнь 2.0, человек, может за одну жизнь переписывать значительную часть «программного обеспечения», учить языки и профессии, но не своё тело. Жизнь 3.0 сможет переделывать и то, и другое. Тегмарк не утверждает, что это обязательно случится или случится скоро. Он предлагает подумать заранее: что будет с работой, когда машины научатся делать большую её часть; как сделать так, чтобы цели умных машин совпадали с нашими; кто будет контролировать самые мощные системы. Он разбирает с десяток сценариев, от благожелательного диктатора-ИИ до гибели человечества, и настаивает, что выбор между ними зависит от решений, которые принимаются сейчас.
Последнее изобретение#
Джеймс Баррат в книге «Последнее изобретение человечества» пишет о рисках, и название объясняет его тревогу. Если машина станет умнее человека во всех областях, в том числе в создании ещё более умных машин, она сможет улучшать себя сама, и каждое следующее поколение будет появляться быстрее предыдущего. Математик Ирвинг Гуд, работавший с Тьюрингом в Блетчли-парке, в 1965 году назвал это «взрывом интеллекта» и сказал, что сверхразумная машина станет последним изобретением, которое человеку понадобится сделать. Если, добавил он, машина будет достаточно послушна, чтобы сказать нам, как её контролировать.
Баррат вслед за исследователем Стивом Омохундро показывает, что опасность не в злой воле машин, как в фильмах. У многих достаточно способных систем, упорно преследующих долгосрочную цель, могут появиться промежуточные цели: сохранить себя, получить больше ресурсов, не дать себя выключить, ведь выключенной машине задачу не выполнить. Это не закон для любой цели: система, которой велено немедленно остановиться, сопротивляться выключению не станет, и многое зависит от того, как она устроена и на какой срок рассчитывает. Но риск достаточно серьёзен, чтобы его изучать. Машина, которой поручили делать канцелярские скрепки, если она достаточно умна и ей не поставили ограничений, может превратить в скрепки всё, до чего дотянется. Это мысленный эксперимент, сценарий риска, а не теорема, но он показывает главную трудность: очень сложно точно сформулировать, чего мы хотим. Специалисты называют её проблемой согласования целей; Дуглас Адамс, у которого сверхкомпьютер выдаёт ответ «сорок два» на вопрос, которого никто толком не сформулировал, когда-то уложил её в одну шутку.
Сборник «Искусственный интеллект — надежды и опасения» под редакцией Джона Брокмана собирает мнения двух десятков учёных, философов и инженеров. Одни считают страхи преувеличенными и напоминают, что каждую новую технологию встречали паникой. Другие сравнивают ситуацию с созданием ядерного оружия. Книга ценна тем, что показывает спор честно: среди лучших умов нет согласия, и уверенность в любом прогнозе здесь скорее признак непонимания.
Люди и машины#
Юваль Харари в «Homo Deus» рассматривает другую возможность: не машины станут похожи на людей, а люди на машины. Он предсказывает, что главными проектами XXI века станут бессмертие, счастье и божественные способности, и что они могут разделить человечество на небольшую элиту улучшенных людей и массу «бесполезного класса», чья работа никому не нужна. Нейроинтерфейсы уже позволяют парализованным людям управлять курсором и протезом силой мысли, так что вопрос перестал быть отвлечённым. Харари идёт дальше и описывает новую веру, которую называет датаизмом: вселенная — поток данных, ценность любого существа определяется его вкладом в обработку этого потока, и решения разумнее доверять алгоритму, который знает о нас больше, чем мы сами.
Журналист Марк О'Коннелл в книге «Искусственный интеллект и будущее человечества» отправился к людям, которые хотят перестать быть только биологическими. Он побывал в аризонском хранилище, где тела и головы ждут в жидком азоте будущего оживления, поговорил с учёными, мечтающими переписать мозг в компьютер, и с энтузиастами, вживляющими себе под кожу магниты и чипы. Книга написана с иронией и сочувствием одновременно, и вывод её неожидан: за мечтой о вечной цифровой жизни стоит очень человеческий страх смерти. Александр Никонов в «Апгрейде обезьяны» смотрит на ту же перспективу с весёлым оптимизмом: для него сингулярность — продолжение старой истории, в которой обезьяна раз за разом улучшает саму себя орудиями. Пелевин в «Transhumanism Inc.» доводит эту мечту до сатиры: богатейшие люди его мира живут мозгами в банках, а остальное человечество их обслуживает.
Малкольм Фрэнк, Пол Рериг и Бен Принг в книге «Что делать, когда машины начнут делать всё» и Алекс Пентленд в «Социальной физике» обсуждают вопросы ближе к сегодняшнему дню. Пентленд с коллегами вешал сотрудникам компаний электронные значки, которые записывали, кто с кем и как часто разговаривает, и выяснил, что продуктивность команды лучше всего предсказывает рисунок общения, а не таланты отдельных людей. Общий вывод этих книг: машины сильнее людей в задачах с ясными правилами и большим количеством данных, люди сильнее в задачах, требующих здравого смысла, сочувствия, творчества и переноса знаний из одной области в другую. Граница между ними движется, и никто не знает, где она остановится. И здесь снова встаёт вопрос, знакомый читателям Дэниела Киза: интеллект и человечность — разные вещи. Его герой стал умнее всех вокруг, но не стал от этого ни счастливее, ни ближе к людям. Машина, которая решает задачи лучше нас, тоже не становится от этого ни доброй, ни понимающей; эти качества придётся либо специально в неё закладывать, либо по-прежнему искать у людей.
Экономист Игорь Липсиц в книге «Есть ли у человечества будущее, или „Апокалипсис эпохи D.R.Ai.“» (2026) соединяет машины с демографией. Эпоху, которая начинается на наших глазах, он называет по трём английским буквам: депопуляция, роботизация, искусственный интеллект. Чем богаче общество, тем меньше в нём детей; Липсиц называет это ловушкой благосостояния и показывает её на Японии, где пустеют города и медведей в опустевших посёлках становится больше, чем людей. Роботы и ИИ закрывают нехватку работников, но заодно делают ненужными и человеческий труд, и человеческий разум, и три всадника — бездетность, ненужная работа, невостребованный разум — по его прогнозу могут за двести-двести пятьдесят лет довести цивилизацию до угасания. Автор не скрывает, что его сочтут алармистом, а выходы ищет в демографии: поддержка рождаемости, ЭКО, суррогатное материнство как государственная услуга и в пределе выращивание детей вне тела матери, «детопроизводство», которое пока существует только в кино. Есть и другой мыслимый ответ, которого в книге нет: отодвинуть старение, о чём шла речь в главе о теле. Но тогда изменится всё, на чём держится этот расчёт, — пенсии, смена поколений, сама граница между молодыми и старыми, и вопрос, хватит ли на Земле детей, сменится вопросом, как жить обществу, из которого никто не уходит.
Три закона и другие предостережения#

Айзек Азимов в рассказах сборника «Я, робот», написанных в 1940-х, придумал три закона роботехники. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред. Робот должен повиноваться человеку, если это не противоречит первому закону. Робот должен заботиться о своей безопасности, если это не противоречит первым двум. Почти все рассказы построены на том, как эти простые и ясные законы в конкретных обстоятельствах ведут к неожиданным и опасным последствиям. Азимов, сам того не планируя, описал проблему, над которой сегодня работают специалисты по безопасности ИИ: невозможно предусмотреть все ситуации, и любые правила, записанные словами, можно понять не так.
Другие фантасты предлагали другие ответы, и два из них стоит поставить рядом, потому что они противоположны. Во вселенной «Дюны» Фрэнка Герберта человечество однажды уже прошло через войну с мыслящими машинами и решило вопрос раз и навсегда: создание машины по образу человеческого разума запрещено религиозной заповедью, а вычисления выполняют специально обученные люди-ментаты. Это ответ запретом, и он держится тысячелетиями, но ценой: целая цивилизация отказалась от инструмента и перестроила под этот отказ образование, религию и власть. У Гибсона в «Нейроманте» запрета нет, есть надзор. Искусственные интеллекты разрешены и работают на корпорации, а за тем, чтобы они не стали умнее дозволенного, следит особая «полиция Тьюринга». Интрига романа во многом держится на том, что один такой интеллект ищет способ обойти надзор и нанимает для этого людей, а полиции приходится его догонять. У Герберта опасную технику можно остановить, если вовремя испугаться. У Гибсона регулятор живёт рядом с тем, что регулирует, и вечно рискует отстать. Сегодняшние споры о том, как надзирать за мощными моделями, идут где-то между этими двумя полюсами.
Братья Стругацкие заходили к вопросу с противоположного конца: что будет с человеком, когда техника даст ему всё? В «Хищных вещах века» общество изобилия, где никому не нужно работать, ищет всё более изощрённых удовольствий и находит такие, что разрушают людей тише и вернее любой войны. Будущее, по Стругацким, зависит не от машин, а от того, какими будут люди, которые ими владеют. Повесть написана в 1965 году, когда изобилие было мечтой, а не угрозой. Шестьдесят лет спустя к ней прибавился вопрос, которого в повести ещё нет: чем займётся человек, когда за него смогут не только работать, но и думать?
Коротко
Машинное обучение позволило компьютерам находить закономерности в данных без явных правил, и на этом стоят успехи ИИ середины 2020-х; данные при этом передают машине и свои перекосы. Языковые модели в отдельных опытах уже проходят игру Тьюринга, но результат зависит от условий, а умение говорить не доказывает понимания и тем более сознания. Одна из главных трудностей безопасности сильного ИИ — точно сформулировать, чего мы хотим; у многих способных целенаправленных систем могут возникать опасные промежуточные цели, хотя это сценарий риска, а не закон для любой цели. Среди специалистов нет согласия о будущем, и сами решения о том, как надзирать за мощными системами, принимаются сейчас.
Что почитать
Начать здесь
- Макс Тегмарк «Жизнь 3.0»
- Тарик Рашид «Создаём нейронную сеть»
Углубиться
- «Тьюринг. Компьютерное исчисление» (серия «Наука. Величайшие теории»)
- Стюарт Рассел, Питер Норвиг «Искусственный интеллект: современный подход»
- Франсуа Шолле «Глубокое обучение на Python»
- Анил Сет «Быть собой»
- Роджер Пенроуз «Новый ум короля»
- Виктор Майер-Шёнбергер, Кеннет Кукьер «Большие данные»
- Джон Келлехер, Брендан Тирни «Наука о данных. Базовый курс»
- Рэймонд Курцвейл «Эволюция разума»
- Митио Каку «Физика невозможного», «Будущее разума»
- Джеймс Баррат «Последнее изобретение человечества»
- Джон Брокман (ред.) «Искусственный интеллект — надежды и опасения»
- Юваль Ной Харари «Homo Deus»
- Марк О'Коннелл «Искусственный интеллект и будущее человечества»
- Александр Никонов «Апгрейд обезьяны»
- Малкольм Фрэнк, Пол Рериг, Бен Принг «Что делать, когда машины начнут делать всё»
- Алекс Пентленд «Социальная физика»
- Айзек Азимов «Я, робот» (рассказы)
- Фрэнк Герберт «Дюна» (роман)
- Уильям Гибсон «Нейромант» (роман)
- Питер Уоттс «Ложная слепота» (роман)
- Виктор Пелевин «Transhumanism Inc.» (роман)
- Аркадий и Борис Стругацкие «Хищные вещи века» (повесть)
- Игорь Липсиц «Есть ли у человечества будущее, или „Апокалипсис эпохи D.R.Ai.“»
Классический текст
- Алан Тьюринг «Может ли машина мыслить?»
- Дуглас Хофштадтер «Гёдель, Эшер, Бах»
- Станислав Лем «Сумма технологии»
Нашли неточность или хотите поспорить? Обсуждение глав идёт в Telegram, пока разрабатывается основной сайт с комментариями.
