[БХВ] Трансформеры в действии [Николь Кенигштайн]

Складчина: [БХВ] Трансформеры в действии [Николь Кенигштайн]

Основополагающая книга о практическом применении больших языковых моделей класса трансформеров (generative pretrained transformer, GPT). Рассказано, как устроены трансформеры на уровне архитектуры и какое место они занимают среди разнообразных нейронных сетей. В книге исследованы самовнимание, тонкая настройка моделей, логический вывод (инференс), обучение с подкреплением, адаптация трансформеров к работе в реальных условиях. Для практической отработки материала предлагаются готовые ноутбуки Jupyter. Основные акценты в примерах сделаны на извлечении данных и, в частности, на технологии RAG (генерация с дополненной выборкой), оптимизации производительности трансформеров, специализации трансформеров с подготовкой предметно-ориентированных языковых моделей, а также на расширении и эффективном использовании контекстного окна.

Для специалистов по большим языковых моделям и анализу данных

Сейчас трансформеры (generative pretrained transformer, GPT) – это эпицентр развития больших языковых моделей (LLM) и других инструментов генеративного искусственного интеллекта. В этих мощных нейронных сетях используется механизм самовнимания (self-attention), позволяющий динамически оценивать важность каждого поступившего на вход элемента в релевантном контексте. Трансформерные модели понимают и генерируют тексты на естественном языке, переводят с языка на язык, создают краткие резюме и даже пишут код — и все это получается впечатляюще бегло и складно.

Книга рассказывает о трансформерах и больших языковых моделях в целом, уделяя особое внимание их проектированию и математическим основам. Вы узнаете, какую роль играет архитектура для достижения скорости работы, масштабирования языковых моделей и извлечения данных. Исследованы технология RAG и мультимодальные модели. Также вы узнаете, как оптимизировать процессы обучения и повышать производительность моделей с помощью продвинутых методов сэмплирования и декодирования, как применять обучение с подкреплением для согласования поведения моделей с предпочтениями человека. В книге предложены готовые ноутбуки Jupyter и реалистичные примеры, позволяющие увидеть трансформеры на практике.

В этой книге:

• Оптимизация производительности больших языковых моделей
• Адаптация моделей HuggingFace к новым задачам
• Внутренние механизмы работы трансформеров и больших языковых моделей
• Этические аспекты использования LLM

Страниц 320

Формат скан pdf
Цену установит организатор
Скрытая ссылка