DeepSeek выпустил DeepSeek-OCR 2. Это система для чтения документов с открытым кодом. Она понимает сложные макеты страниц.
Ключевой компонент — DeepEncoder V2. Это преобразователь в стиле языковой модели. Он превращает двумерную страницу в одномерную последовательность.
Большинство моделей читают изображения построчно. Это плохо работает с колонками и таблицами. Человек читает иначе — перескакивает между смысловыми блоками.
Новый энкодер учится причинно-следственным связям. Он предлагает порядок чтения. Декодер затем генерирует текст.
Система использует стратегию обрезки. Глобальный вид даёт 256 токенов. Локальные фрагменты добавляют до 1120 токенов на страницу.
Архитектура внимания асимметрична. Визуальные токены видят друг друга. Токены потока читаются последовательно.
Обучение проходило в три этапа. Данные содержали 80% текста для распознавания. Баланс между текстом, формулами и таблицами — 3:1:1.
Исходный код опубликовали на GitHub. Модель основана на Qwen2-0.5B. Декодер — DeepSeek-3B-A500M.
