DeepSeek відкрила код рушія, на якому працює її API

Що сталося

20 жовтня DeepSeek виклала на GitHub DeepInfer — фреймворк, на якому компанія обслуговує власний API. Код доступний за ліцензією Apache 2.0, тобто його можна безкоштовно використовувати й у комерційних продуктах. Поки що рушій підтримує одну модель — DeepSeek-V4.1-Flash, код для наступних моделей компанія обіцяє викладати так само.

Разом із DeepInfer вийшла бібліотека deepseek-recipe. Вона перетворює запити на токени за тією ж логікою, що й офіційний API, тож модель, розгорнута на власних серверах, має відповідати так само, як у хмарі DeepSeek. Мету релізу компанія в X сформулювала так: допомогти спільноті знизити витрати на обчислення й енергію та зробити ШІ доступнішим.

Що всередині

Inference-рушій — це програма, яка запускає вже натреновану модель і віддає відповіді користувачам. Від неї залежить, скільки запитів витримає один сервер, а отже — собівартість кожної відповіді. DeepInfer виріс із популярного відкритого рушія vLLM, але DeepSeek додала власні оптимізації:

• оптимізовані обчислювальні ядра (FlashMLA, DeepGEMM, DeepEP) і розподіл моделі між багатьма чипами;
• спекулятивне декодування DSpark: допоміжна модель пропонує до п'яти токенів наперед, а основна лише перевіряє їх; за оцінкою компанії, це додає 4–7% пропускної здатності під реальним навантаженням;
• детерміновані відповіді: однаковий запит дає однаковий результат незалежно від того, з якими запитами він потрапив у пакет;
• структуровані відповіді за JSON-схемою чи регулярним виразом.

Працює рушій лише на новітніх GPU Nvidia покоління Blackwell (SM100) і на чипах Huawei Ascend 950. Старіші Nvidia Hopper не підтримуються, а детермінований режим доступний тільки на Nvidia. Бенчмарки DeepSeek опублікувала лише для Nvidia.

Чого бракує

Це не готовий сервіс «під ключ». У релізі немає системи кешу, розподілу етапів обробки між машинами та балансування навантаження — DeepSeek пояснює, що ці частини тісно пов'язані з її внутрішньою інфраструктурою. Найменше ефективне розгортання, яке описує компанія, — 64 GPU для обробки запитів і ще 64 для генерації відповідей. Для більшості компаній це рівень дата-центру, а не одного сервера.

Цифри, які обговорюють

Найбільше уваги на Hacker News (понад 2 тис. балів) привернули не код, а дані з супровідних матеріалів DeepSeek: один кластер нібито обробляє 155 трлн токенів на добу, а виручка становить близько $38 на одну відеокарту за годину навіть за нічними, зниженими тарифами. Частина коментаторів сприйняла це як доказ високої маржинальності інференсу, інші сумніваються в масштабі цифр — для порівняння, OpenRouter повідомляв про 164 трлн токенів за цілий тиждень на всій платформі. Незалежно ці дані не перевірені.

Реліз вийшов наступного дня після того, як Міністерство внутрішньої безпеки США наказало федеральним цивільним відомствам прибрати продукти DeepSeek зі своїх систем.

Редактор матеріалуАндрій Супряга

CTO AI Assistant Agency.

Як ми готуємо новини: агент щодня збирає події з першоджерел і пише чернетку, редактор перевіряє факти й вирішує, чи публікувати.