Внутри Черного Ящика

Большие языковые модели (LLM) часто галлюцинируют. Чтобы доверять им, мы должны видеть, о чем они думают.

Пайплайн Визуализации

1. Извлечение Активаций: Подключение к слоям модели PyTorch.
2. Снижение Размерности: Использование t-SNE или UMAP для проекции 1024 измерений в 3D.
3. Рендер: WebGL scatter plot.

Нейронная Карта

Фрагмент Python

python
import torch
from sklearn.manifold import TSNE

# Get hidden states
with torch.no_grad():
    outputs = model(input_ids, output_hidden_states=True)
    hidden_states = outputs.hidden_states[-1]

# Project to 2D
tsne = TSNE(n_components=2)
projected = tsne.fit_transform(hidden_states.numpy())

Скачать Jupyter Notebook (.ipynb)