Словарь терминов ИИ (часть 2)

20. Расширенные термины AI: модели, память, поиск и локальная генерация

В предыдущих разделах разобраны основные понятия искусственного интеллекта,
генерации изображений, видео, музыки и текста. Но при более глубоком изучении
нейросетей быстро появляются новые термины: архитектуры моделей, форматы весов,
методы оптимизации памяти, дополнительные инструменты генерации и системы поиска.

Этот раздел посвящён именно таким понятиям. Большинство из них не требуется знать
новичку, чтобы пользоваться ChatGPT или генератором изображений, но они становятся
важными при работе с локальными моделями, ComfyUI, собственными AI-серверами,
RAG-системами и обучением моделей.

20.1. Модели и технологии генерации изображений

DreamBooth

Что это: метод персонализации генеративной модели,
позволяющий обучить её определённому персонажу, объекту или визуальному концепту
на небольшом наборе изображений.

Для чего используется: DreamBooth применялся для обучения моделей
конкретным персонажам, людям, животным, предметам и стилям.

Простыми словами: вместо того чтобы каждый раз пытаться описать
персонажа словами, можно дополнительно обучить модель узнавать его внешний вид.

Не путать с: LoRA. DreamBooth описывает метод персонализации модели,
тогда как LoRA является способом эффективной адаптации параметров. На практике
DreamBooth может использоваться вместе с LoRA.

FLUX

Что это: семейство современных генеративных моделей для создания
и обработки изображений.

FLUX стал заметным инструментом в экосистеме локальной генерации благодаря качеству
изображения, работе с текстом и широкому набору вариантов интеграции.

В зависимости от конкретной версии возможности, требования к оборудованию,
лицензия и область применения могут различаться.

Hunyuan

Что это: название семейства AI-моделей, включающего решения для
генерации и обработки различных типов контента.

В контексте генеративного AI термин Hunyuan может относиться к моделям для изображений,
видео, трёхмерного контента и другим направлениям. Поэтому при обсуждении конкретной
модели важно указывать её полное название.

Wan

Что это: семейство генеративных моделей, получившее широкое применение
в задачах создания и обработки видео и другого визуального контента.

Конкретные версии Wan могут использоваться для Text-to-Video, Image-to-Video,
редактирования и других задач.

UNet

Что это: архитектура нейронной сети, первоначально получившая известность
в задачах сегментации изображений, а затем широко использовавшаяся в diffusion-моделях.

В классических diffusion-системах UNet отвечает за значительную часть процесса
предсказания и удаления шума.

Более новые генеративные архитектуры могут использовать другие подходы, например
Transformer-based архитектуры.

DiT — Diffusion Transformer

Что это: архитектурный подход, в котором Transformer используется
как основная модель для diffusion-процесса.

DiT является важным примером перехода от классических UNet-подобных архитектур
к Transformer-подходам в генеративных моделях.

VAE — Variational Autoencoder

Что это: вариационный автоэнкодер, способный преобразовывать данные
между исходным пространством и компактным латентным представлением.

В генерации изображений VAE может преобразовывать изображение в latent representation
перед дальнейшей обработкой и декодировать полученный latent обратно в изображение.

CLIP Vision

Что это: компонент или модельная часть, предназначенная для получения
визуального представления изображения в экосистемах, использующих CLIP-подобные модели.

В AI-workflow CLIP Vision может использоваться для анализа изображения, передачи его
визуальных характеристик другим компонентам или управления генерацией.

T5

Что это: семейство Transformer-моделей для обработки текста.

T5 использует подход text-to-text, при котором различные языковые задачи
представляются как преобразование одного текстового представления в другое.

Компоненты или производные T5 могут использоваться в современных генеративных
системах как текстовые энкодеры.

20.2. LoRA и параметры адаптации моделей

LoRA Rank

Что это: параметр, определяющий размерность обучаемого
низкорангового представления в LoRA.

Более высокий rank позволяет адаптеру хранить больше информации, но обычно
увеличивает размер адаптера и вычислительные требования.

Простыми словами: rank можно условно воспринимать как объём
дополнительной «ёмкости» LoRA.

LoRA Alpha

Что это: параметр масштабирования LoRA-адаптера.

В зависимости от реализации alpha влияет на силу воздействия обученной адаптации
относительно исходной модели.

LoRA Strength

Что это: коэффициент, определяющий силу применения LoRA при генерации.

Увеличение strength обычно усиливает влияние адаптера, но чрезмерное значение
может привести к нежелательным визуальным изменениям.

LyCORIS

Что это: набор методов адаптации моделей, расширяющих идеи
низкорангового обучения и позволяющих использовать различные архитектуры адаптеров.

20.3. Архитектура современных языковых моделей

MoE — Mixture of Experts

Что это: архитектура, в которой модель состоит из нескольких
специализированных компонентов, называемых experts.

Для обработки конкретного входа система может активировать только часть experts,
вместо выполнения вычислений через всю модель.

Простыми словами: это похоже на большой отдел специалистов,
где для каждой задачи вызывают не всех сотрудников сразу, а только нужных.
Человечество наконец додумалось до оптимизации совещаний.

Mixture of Experts

Полное название архитектуры MoE. Используется в некоторых современных языковых
и мультимодальных моделях.

Expert

Что это: отдельный специализированный компонент внутри MoE-модели.

Router определяет, какие experts должны обрабатывать конкретный вход.

Router

Что это: компонент MoE-архитектуры, определяющий, каким experts
передать конкретный входной запрос.

Speculative Decoding

Что это: метод ускорения генерации текста, при котором небольшая
быстрая модель предварительно предлагает несколько токенов, а большая модель
проверяет их.

Если предложения принимаются, система может генерировать несколько токенов быстрее,
чем при обычной последовательной генерации.

KV Cache

Что это: механизм кэширования промежуточных представлений
attention во время генерации текста.

Это позволяет не пересчитывать некоторые уже обработанные данные при генерации
каждого следующего токена.

Почему важно: KV cache может значительно влиять на скорость генерации
и потребление памяти при работе с длинным контекстом.

Context Caching

Что это: повторное использование уже обработанного контекста,
чтобы не выполнять одну и ту же вычислительную работу заново.

Особенно полезно в приложениях, где один и тот же большой документ, системная
инструкция или набор данных используется в большом количестве запросов.

Attention Head

Что это: отдельный механизм внимания внутри multi-head attention.

Разные attention heads могут специализироваться на различных отношениях между
элементами последовательности.

Multi-Head Attention

Что это: механизм, использующий несколько attention heads
одновременно для анализа различных типов связей между элементами входных данных.

20.4. Память, производительность и оптимизация LLM

VRAM Offloading

Что это: перенос части данных или компонентов модели из видеопамяти
GPU в оперативную память или другое доступное хранилище.

Для чего нужно: позволяет запускать более крупные модели на видеокартах
с ограниченным объёмом VRAM, хотя зачастую ценой снижения скорости.

CPU Offloading

Частный случай offloading, при котором часть модели или промежуточных данных
хранится в оперативной памяти CPU и при необходимости переносится на GPU.

xFormers

Что это: набор оптимизированных компонентов для Transformer-моделей,
применяемых в том числе для ускорения attention и уменьшения потребления памяти.

В некоторых AI-инструментах xFormers может использоваться для более эффективной
работы генеративных моделей.

Flash Attention

Что это: оптимизированная реализация механизма attention,
уменьшающая количество обращений к памяти и повышающая эффективность вычислений
на поддерживаемом оборудовании.

Это не отдельная модель, а способ эффективнее выполнять вычисления attention.

Quantization

Что это: уменьшение точности числового представления параметров модели.

Например, модель может быть преобразована из более точного формата в 8-, 6-,
4-битное или другое представление.

Зачем: уменьшить размер модели, потребление памяти и иногда
ускорить inference.

Компромисс: слишком агрессивное квантование может привести
к заметному ухудшению качества.

GGML

Что это: библиотека и связанная с ней экосистема форматов
и методов для эффективного запуска машинных моделей на CPU и других устройствах.

GGML сыграла важную роль в развитии локального запуска языковых моделей.
Многие современные инструменты используют более новый формат GGUF,
пришедший на смену прежним подходам.

GGUF

Что это: формат хранения моделей, широко используемый
современными инструментами локального запуска LLM.

GGUF может хранить веса модели и метаданные, необходимые для её загрузки.
Поддерживаются различные варианты квантования.

Batch Size

Что это: количество примеров, обрабатываемых одновременно
в одном batch.

Больший batch может повысить эффективность вычислений, но требует больше памяти.

Memory Bandwidth

Что это: скорость передачи данных между памятью и вычислительными
компонентами системы.

Для некоторых AI-задач пропускная способность памяти является важным фактором
производительности.

Inference Optimization

Что это: набор методов для ускорения работы обученной модели
и уменьшения потребления вычислительных ресурсов.

20.5. Поиск, RAG и базы знаний

Vector Search

Что это: поиск объектов по близости их векторных представлений.

В RAG-системах vector search используется для поиска документов или фрагментов,
наиболее близких по смыслу к пользовательскому запросу.

Reranking

Что это: повторная сортировка результатов поиска с помощью
дополнительной модели или алгоритма.

Например, первый этап может быстро найти 50 потенциально подходящих документов,
а reranker затем выбрать из них наиболее релевантные.

Reranker

Что это: модель или алгоритм, который оценивает найденные документы
и переставляет их в порядке релевантности.

BM25

Что это: классический алгоритм текстового информационного поиска,
оценивающий релевантность документов по совпадению терминов.

BM25 не является нейросетью. Он относится к традиционным методам поиска и часто
используется вместе с векторным поиском.

Hybrid Search

Что это: комбинация нескольких методов поиска, например
keyword search и vector search.

Такой подход позволяет одновременно учитывать точные совпадения слов
и смысловую близость.

Multimodal Embedding

Что это: embedding, способный представлять данные разных модальностей
в совместимом или связанном пространстве.

Например, система может сопоставлять текстовое описание и изображение
по их embedding-представлениям.

Document Chunking

Что это: разделение большого документа на отдельные фрагменты
перед индексацией и поиском.

Размер и способ формирования chunks существенно влияют на качество RAG-системы.

Retrieval

Что это: получение релевантной информации из внешнего набора данных
перед генерацией ответа.

Retrieval Pipeline

Что это: последовательность операций поиска, фильтрации,
reranking и передачи найденных данных языковой модели.

20.6. Локальный запуск и системные технологии

Local Inference

Что это: выполнение AI-модели непосредственно на локальном устройстве.

В отличие от облачного inference, данные и вычисления могут оставаться
на компьютере пользователя.

Model Offloading

Перенос частей модели между GPU, CPU и другими уровнями памяти для уменьшения
требований к доступной VRAM.

Memory Mapping

Что это: способ доступа к файлам через виртуальную память,
позволяющий программам работать с большими файлами более эффективно.

Некоторые инструменты локального AI используют memory mapping при загрузке
больших файлов моделей.

CUDA

Платформа NVIDIA для выполнения параллельных вычислений на GPU.
Она широко используется в локальных AI-инструментах.

cuDNN

Библиотека NVIDIA с оптимизированными примитивами для глубокого обучения.

Tensor

Что это: многомерный массив чисел, являющийся базовой структурой
данных во многих фреймворках машинного обучения.

Скаляр можно представить как tensor нулевой размерности, вектор как одномерный,
матрицу как двумерный, а более сложные структуры могут иметь множество измерений.

Tensor Core

Специализированные вычислительные блоки в некоторых GPU NVIDIA и других ускорителях,
предназначенные для эффективного выполнения операций, характерных для AI.

AI Accelerator

Аппаратный ускоритель, специально предназначенный для выполнения операций
машинного обучения и нейросетевых вычислений.

20.7. Речь, аудио и видео

OCR — Optical Character Recognition

Что это: технология распознавания текста на изображениях,
фотографиях и сканах документов.

Современные AI-системы могут использовать OCR для извлечения текста
из документов, экранов, фотографий и других изображений.

ASR — Automatic Speech Recognition

Что это: автоматическое распознавание речи и преобразование
аудиосигнала в текст.

ASR является более техническим термином для технологий speech-to-text.

Diarization

Что это: определение, какой говорящий произносит каждый фрагмент
аудиозаписи.

Например, запись разговора двух людей может быть автоматически разделена
на Speaker 1 и Speaker 2.

SFX — Sound Effects

Что это: звуковые эффекты.

В AI-генерации SFX могут создаваться отдельно от музыки и речи:
шаги, шум транспорта, ветер, удары, двери, окружающая атмосфера и другие звуки.

AI Dubbing

Что это: автоматизированная озвучка видео на другом языке
с использованием AI.

Современные системы могут сочетать распознавание речи, перевод, синтез голоса
и синхронизацию речи с изображением.

Voice Cloning

Технология создания синтетической речи, сохраняющей характерные свойства
определённого голоса.

Использование чужого голоса может иметь юридические и этические ограничения,
особенно при создании контента, который может быть принят за настоящее высказывание
человека.

Motion Transfer

Что это: перенос движения с исходного видео или персонажа
на другого визуального персонажа.

Например, движение человека в исходной записи может использоваться
для анимации цифрового или антропоморфного персонажа.

Pose Estimation

Что это: определение положения тела или ключевых точек объекта
на изображении или видео.

Pose estimation применяется в генерации изображений, motion transfer,
анализе видео и системах управления персонажами.

Optical Flow

Что это: оценка движения визуальных элементов между кадрами.

Optical flow используется в компьютерном зрении, интерполяции кадров,
анализе движения и некоторых системах обработки видео.

20.8. Термины, которые особенно часто путают

Термины	Разница
AI и ML	AI шире; ML является одним из подходов к созданию AI-систем.
LLM и GPT	LLM является общим классом больших языковых моделей, GPT обозначает конкретное семейство моделей.
LoRA и DreamBooth	LoRA является методом эффективной адаптации; DreamBooth является методом персонализации модели.
LoRA и checkpoint	Checkpoint содержит основную модель, LoRA обычно представляет дополнительный адаптер.
ControlNet и IP-Adapter	ControlNet обычно управляет структурой изображения, IP-Adapter позволяет использовать визуальное условие и сходство.
Embedding и token	Token является единицей обработки текста, embedding является числовым представлением информации.
RAG и fine-tuning	RAG добавляет внешнюю информацию во время запроса, fine-tuning изменяет поведение модели через дополнительное обучение.
Vector search и BM25	Vector search использует смысловую близость embeddings, BM25 работает преимущественно с совпадением терминов.
Reranking и search	Search находит кандидатов, reranking дополнительно сортирует найденные результаты.
UNet и DiT	Оба могут использоваться в генеративных системах, но представляют разные архитектурные подходы.
GGML и GGUF	GGML относится к библиотеке и старой экосистеме форматов, GGUF является современным форматом хранения локальных LLM.
Quantization и compression	Quantization уменьшает точность числового представления параметров, compression является более общим понятием сжатия.
TTS и voice cloning	TTS превращает текст в речь, voice cloning направлен на воспроизведение характеристик конкретного голоса.
STT и ASR	В большинстве практических контекстов это близкие понятия: преобразование речи в текст.
I2V и motion transfer	I2V создаёт видео из изображения, motion transfer переносит движение между источником и целевым персонажем.
FPS и duration	FPS определяет частоту кадров, duration определяет длительность видео.