Name: Mistral NeMo API
Brand: Mistral AI

О модели#

Mistral NeMo - открытая языковая модель на 12 миллиардов параметров, разработанная совместно Mistral AI и NVIDIA. Обладает контекстным окном 128K токенов, применяет новый токенизатор Tekken с поддержкой более 100 языков и особенно эффективна в многоязычных задачах: английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, корейский, арабский и хинди. Подходит как замена Mistral 7B в любых системах - при значительно большем контексте и точности.

Характеристики#

Параметр	Значение
Контекстное окно	131K токенов
Максимальная длина вывода	32K токенов
Мультимодальность	Текст
Дата выхода	18 июля 2024

Бенчмарки#

Бенчмарк	Результат
MMLU (5-shot)	68.0%
HellaSwag (0-shot)	83.5%
Winogrande (0-shot)	76.8%
TruthfulQA (0-shot)	50.3%
CommonSenseQA (0-shot)	70.4%
TriviaQA (5-shot)	73.8%

Стоимость#

Тип токенов	Цена за 1M токенов
Входящие (Input)	4 руб
Исходящие (Output)	19 руб

Оплата списывается с баланса DS Lab в DS-коинах. 1 DS-коин = 1 ₽.

API#

1. Создайте API-ключ на странице dslab.tech/api/keys

2. Используйте https://api.dslab.tech/v1 как base_url в любом OpenAI-совместимом SDK. Модель: mistral-nemo.

3. Ознакомьтесь с документацией SDK: platform.openai.com/docs/libraries

Обычный запрос

curl https://api.dslab.tech/v1/chat/completions \
  -H "Authorization: Bearer YOUR_DSLAB_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral-nemo",
    "messages": [
      {"role": "user", "content": "Напиши функцию сортировки на Python"}
    ]
  }'

Эндпоинт#

Отправляет запрос на получение ответа модели для заданного диалога. Поддерживает потоковый и обычный режим.

POST https://api.dslab.tech/v1/chat/completions

Поле	Значение
Authorization	Bearer $DSLAB_API_KEY
X-Api-Key	$DSLAB_API_KEY (альтернатива для Anthropic SDK)
Content-Type	application/json
Model	mistral-nemo

Параметры#

Параметр	Тип	По умолчанию	Описание
`max_tokens`	integer	-	Максимальное количество токенов в ответе
`tool_choice`	string \| object	auto	Управляет использованием инструментов: автоматический выбор, принудительный вызов или запрет
`tools`	array	-	Список доступных инструментов и их параметров (формат OpenAI)
`response_format`	map	-	Задает требуемый формат ответа модели (например, JSON)
`stop`	array	-	Останавливает генерацию при появлении указанных стоп-последовательностей токенов

Mistral NeMo

Содержание