Почему мы добавили qwen-flash-next-3.8, qwen3.8-27b и deepseek-flash-4.1 — и что значит «запустить локально»
· Open-weight отряд · 5 мин чтения
Все три модели распространяются с открытыми весами, и наши клиенты всё чаще просят не только API, но и возможность считать у себя. qwen-flash-next-3.8 — MoE с малой активной частью: на сервере с 24 ГБ помещается даже в fp8 и держит 256k контекста. qwen3.8-27b — плотная 27B: то же окно 24 ГБ в 4-бите, лучший баланс качества на десктопном GPU. deepseek-flash-4.1 — flash-линейка DeepSeek с tool-вызовами, которую мы гоняем во флоте как основной дешёвый конвейер.
Схема простая: weights → свой инференс → ключ шлюза только для перелива пиков ("burst": "gateway"). Цены во флоте равны прайсу вендора плюс комиссия ступени — никакой «лицензионной наценки» за open weights.
Как роутер оценивает апстримы каждые пять минут
· Платформа · 6 мин чтения
Каждая модельная конечная точка получает живой скор из четырёх сигналов: доля принятых токенов с ошибкой, p95 времени до первого токена, дрейф цены и мягкий штраф апстримам у их собственного лимита. Роутер никогда не сравнивает модели разных семейств по качеству — качество определяет ваша цепочка фолбэков; скор решает только какая из разрешённых моделей ответит сейчас. После релиза доля запросов с фолбэком упала с 2,1% до 0,4%.
Цикл оценки намеренно скучный: тик каждые 300 с, EWMA с периодом полураспада 6 тиков и предохранитель, который изолирует апстрим после 8 подряд упавших принятых стримов. Изолированным апстримам остаётся 1% трафика как пробы — восстановление быстрое и видно на странице статуса.
Кэш ответов: 72% попаданий без вреда для качества
· Кэш-звено · 8 мин чтения
Хешируем (набор разрешённых моделей, нормализованные сообщения, параметры сэмплирования), а не сырые тела: пробелы, порядок ключей и таймстемпы системных промптов нормализуются. Основной выигрыш — в нагрузках поддержки, где 40% промптов почти дублируют друг друга внутри одной смены. Записи кэша протухают через 24 часа по умолчанию; tool-call-трейсы мы не кэшируем никогда — их повтор небезопасен.
Кэш поключевой, с опциональными командными пространствами. Клиент на ступени Growth делит попадания между своими ключами, оставаясь изолированным от всех прочих — именно оттуда большая часть тех самых 72%.
Условия использования (кратко)
Краткое изложение простым языком; полный договор доступен авторизованным аккаунтам.
Оплата за токены по факту; приемлемое использование следует политикам каждого вендора-апстрима; мы не храним содержание промптов глубже метаданных запроса за 24 часа, если не включено архивирование на ключе; SLA по аптайму и время реакции поддержки — по ступени; аккаунты могут быть приостановлены за злоупотребление учётными данными или запрещённый контент согласно политике применимого апстрима.
Политика конфиденциальности (кратко)
Соответствует GDPR; DPA доступна для ступеней Growth и Scale.
Оператор данных: CI-AI Gateway B.V., Роттердам, Нидерланды. Данные API-пейлоадов обрабатываются исключительно ради инференса по соглашениям с нулевым хранением с апстримами; данные аккаунта хранятся для биллинг-соответствия (10 лет); субподрядчики: вендоры моделей, eu-central объектное хранилище, транзакционные письма. Запросы: privacy@ci-ai.duckdns.org.