Как работает ChatGPT: простыми словами о том, что внутри

Коротко

ChatGPT — это чат-интерфейс к большой языковой модели (LLM) семейства GPT, которую разрабатывает компания OpenAI. Модель обучена на огромном массиве текстов и умеет одно базовое действие — предсказывать, какое слово (точнее, фрагмент слова) должно идти следующим. Из миллиардов таких предсказаний подряд складывается связный ответ.

Сама по себе способность продолжать текст ещё не делает модель полезным собеседником: отдельным этапом её дообучают вести диалог и следовать инструкциям — с участием разметчиков-людей, которые оценивают её ответы. Ошибается модель тоже не случайно: она может уверенно «досочинить» факт, если не знает точного ответа, — это называют галлюцинацией (разобрано ниже). ChatGPT — уже не просто одна модель, а модель плюс инструменты вокруг неё: поиск в интернете, работа с файлами, генерация изображений, память о разговорах.

Что значит GPT

GPT расшифровывается как Generative Pre-trained Transformer — «генеративный предобученный трансформер». По словам:

• Generative (генеративный) — модель генерирует, то есть создаёт новый текст, а не выбирает готовый вариант из базы.
• Pre-trained (предобученный) — прежде чем стать полезным ассистентом, модель проходит длительный этап обучения на большом массиве текстов, и только потом её дополнительно настраивают под конкретные задачи.
• Transformer (трансформер) — архитектура нейросети, предложенная в 2017 году в статье исследователей Google «Attention Is All You Need». Именно она умеет эффективно учитывать связи между всеми словами в тексте одновременно, а не читать их строго по одному, как более ранние архитектуры. Трансформер — не изобретение OpenAI, а общая идея, на которой сегодня строятся почти все крупные языковые модели, включая модели других компаний.

Компанию OpenAI в конце 2015 года основала группа исследователей и предпринимателей, включая Сэма Альтмана, — как некоммерческую лабораторию с целью развивать искусственный интеллект на благо человечества. Позже структура компании менялась, но именно OpenAI разрабатывает семейство моделей GPT и сервис ChatGPT.

Как ChatGPT «пишет» ответ

Модель не оперирует целыми словами напрямую. Текст сначала разбивается на токены — короткие фрагменты: это может быть целое короткое слово, часть длинного слова или даже один символ. Слово «ChatGPT», например, скорее всего будет разбито на несколько токенов, а короткое частое слово — останется одним токеном. Дальше вся работа идёт именно с токенами, а не с буквами и не с готовыми словами.

Дальше происходит одно и то же действие, повторённое много раз подряд:

Из-за шага 3 ответ на один вопрос может немного отличаться от раза к разу, даже без изменений в запросе, — это не сбой, а особенность устройства модели. Насколько сильно модель готова отклоняться от самого вероятного варианта, отчасти регулирует параметр, который называют температурой: чем она ниже, тем предсказуемее и «суше» ответы, чем выше — тем разнообразнее. В ChatGPT температуру вручную не настраивают — она подобрана OpenAI под диалог, но именно из-за неё «идентичный» ответ на один и тот же творческий запрос дважды обычно не получить.

У модели также есть контекстное окно — ограничение на то, сколько токенов (сообщений, ответов, содержимого файлов) она может одновременно «удерживать в поле зрения». Если разговор или документ становится длиннее окна, старые фрагменты постепенно перестают учитываться — модель как будто их забывает. Точный размер окна отличается у моделей и тарифов и меняется с новыми версиями, поэтому цифры лучше смотреть в официальной документации моделей — здесь важен сам принцип.

Как модель учили

Путь от «программы, предсказывающей следующий токен» до полезного собеседника состоит из нескольких последовательных этапов.

Предобучение (pre-training). Модель обучают на огромном массиве текстов — книгах, статьях, коде, страницах интернета — единственной задаче: по началу фрагмента текста предсказать, какой токен идёт следующим. Ошиблась — веса модели чуть корректируются; так повторяется огромное количество раз. На этом этапе модель «впитывает» грамматику, факты, стили изложения и логические связи — не запоминая тексты дословно, а улавливая закономерности в них. Точные объёмы данных и размеры моделей OpenAI не раскрывает, поэтому цифры из сторонних источников — только оценки.

Дообучение на диалогах (supervised fine-tuning). Предобученная модель ещё не «ассистент»: она умеет только продолжать текст, а не следовать инструкциям и не разграничивать «вопрос пользователя» и «ответ помощника». Дальше её дополнительно обучают на примерах диалогов «вопрос — хороший ответ», подготовленных или отобранных людьми, — так она осваивает формат чата.

Обучение с подкреплением на основе обратной связи людей (RLHF). Модели дают сгенерировать несколько вариантов ответа на один запрос, а живые разметчики отмечают, какой лучше — точнее, безопаснее, полезнее. На основе таких сравнений строится модель-«оценщик», а основную модель донастраивают давать больше ответов, которые эта оценка считает хорошими. Именно этот этап отвечает за то, что ChatGPT старается быть полезным и отказывается от явно вредных просьб.

Обучение рассуждению. Для сложных задач — математики, логики, программирования — модели дополнительно обучают «рассуждать» перед ответом: раскладывать задачу на промежуточные шаги. Именно на этом основан режим Thinking. Как это дообучение устроено внутри, OpenAI подробно не раскрывает — здесь стоит ограничиться общим принципом.

Все эти этапы происходят один раз при подготовке версии модели, а не во время вашего разговора с ней: в обычном диалоге модель не «доучивается» на лету и не запоминает факты о вас навсегда — если только не включена функция памяти (см. раздел про инструменты ниже).

Почему ChatGPT ошибается

Понимание того, как устроена модель, объясняет и её типичные слабые места.

• Галлюцинации. Модель предсказывает наиболее вероятное продолжение текста, а не сверяется с базой проверенных фактов. Если она не «знает» точного ответа, она может уверенно сгенерировать правдоподобно звучащий, но неверный факт, цитату или ссылку — поэтому важные факты и цифры стоит перепроверять.
• Устаревшие знания. У предобучения есть дата отсечения данных, и о более поздних событиях модель «из головы» не знает — если ей не подключён поиск в интернете (см. ниже).
• Неоднозначные запросы. Если вопрос сформулирован расплывчато, модель достраивает недостающий контекст сама — и может достроить его не так, как вы имели в виду.

Полностью эти особенности не устранены ни в одной языковой модели, но OpenAI компенсирует их инструментами: поиском в интернете для актуальных фактов, выполнением кода для точных вычислений вместо ответа «из головы». Как формулировать запросы точнее и проверять ответы — в статье как проверять ответы ChatGPT.

Инструменты вокруг модели

То, что сегодня называют «ChatGPT», — это не одна нейросеть, а языковая модель плюс инструменты, к которым она обращается по ходу диалога:

• Поиск в интернете — когда вопрос требует актуальных данных, модель формулирует запрос, получает результаты и опирается на них, а не только на то, что «запомнила» при обучении.
• Анализ файлов и кода — модель читает прикреплённый документ, таблицу или изображение, а для точных расчётов выполняет код во встроенной среде, а не «прикидывает» ответ по памяти.
• Генерация изображений — отдельная модель, к которой ChatGPT обращается по текстовому описанию.
• Память — ChatGPT может сохранять отдельные факты о вас между разговорами, если функция включена в настройках; управлять ею и удалять сохранённое можно там же.
• Агенты — Codex и ChatGPT Work. Codex — инструмент на основе той же линейки моделей для работы с кодом, способный выполнять многошаговые задачи почти самостоятельно; ChatGPT Work — агент для многошаговых офисных задач (таблицы, презентации, документы), который работает с подключёнными приложениями; с июля 2026 года в него вошли функции закрытого браузера Atlas. Подробнее — в статье как пользоваться Codex и в статье про модели ChatGPT.

Сама модель отвечает за «понимание» запроса и текст ответа, а инструменты — за доступ к актуальным данным и точным вычислениям, недоступным модели «из головы».

Как создавали ChatGPT: краткая история

Даты в таблице проверены по официальному блогу OpenAI, Wikipedia и открытым источникам на момент публикации; OpenAI продолжает выпускать обновления моделей чаще, чем раз в квартал, поэтому список неизбежно будет пополняться.

Книга Стивена Вольфрама

Вскоре после запуска ChatGPT учёный и предприниматель Стивен Вольфрам (создатель Wolfram Alpha и языка Wolfram Language) опубликовал эссе «What Is ChatGPT Doing … and Why Does It Work?» (2023) — одно из самых цитируемых популярных объяснений того, как работают большие языковые модели, изложенное без формул. На русском языке книга выходила под названием «Как устроен ChatGPT?» (издательство «Манн, Иванов и Фербер», 2024).

Вольфрам разбирает те же идеи, что и эта статья, только подробнее: токены и предсказание следующего токена, при чём тут архитектура трансформера и в чём принципиальные ограничения такого подхода. Книга подойдёт тем, кто хочет разобраться в механике глубже, без диплома по машинному обучению; для общего понимания «что внутри» достаточно и материала на этой странице.

Чем ChatGPT отличается от поисковика и от «сильного ИИ»

От поисковика. Поисковик ищет и ранжирует уже существующие страницы в интернете и показывает ссылки на них. ChatGPT без включённого поиска ничего не ищет в реальном времени — он генерирует новый текст на основе закономерностей, усвоенных при обучении, и может ошибаться там, где поисковик просто покажет источник. С включённым веб-поиском он ближе к поисковику по доступу к свежим данным, но по-прежнему сначала формулирует ответ своими словами, а не выдаёт список ссылок.

От «сильного ИИ» (AGI). ChatGPT — языковая модель, обученная предсказывать текст и следовать инструкциям, а не система с собственными целями и пониманием мира в человеческом смысле. Она не «думает» между сообщениями и не имеет постоянной внутренней жизни — вне обработки запроса модель не выполняет никаких вычислений. Разработка более общего ИИ (AGI) — заявленная цель OpenAI, но ChatGPT сейчас — конкретный продукт на основе конкретной технологии, а не воплощение этой цели.

Итог

• ChatGPT — интерфейс к большой языковой модели, которая обучена предсказывать следующий токен текста, а не искать готовый ответ в базе данных.
• GPT = Generative Pre-trained Transformer: генеративная, предобученная модель на архитектуре трансформер.
• Ответ строится токен за токеном на основе вероятностей — отсюда и вариативность ответов на один вопрос.
• Обучение проходит в несколько этапов: предобучение на большом массиве текстов → дообучение на примерах диалогов → обучение с обратной связью людей (RLHF) → для части моделей отдельно — обучение рассуждению.
• Ошибки (галлюцинации, устаревшие знания) — следствие самого принципа предсказания текста; их частично компенсируют поиск в интернете и другие инструменты, но не устраняют полностью.
• ChatGPT сегодня — это модель плюс инструменты: поиск, анализ файлов, генерация изображений, память, Codex и ChatGPT Work.
• С момента запуска в конце 2022 года модели в основе ChatGPT сменились уже несколько раз — от GPT-3.5 до линейки GPT-6 в 2026 году.