О модели#
Llama 3.3 70B - флагманская открытая модель Meta, сочетающая высокое качество ответов с доступной ценой. При размере 70B параметров модель демонстрирует производительность, сравнимую с Llama 3.1 405B, благодаря улучшенному обучению. Отличный выбор для задач программирования, рассуждения, многошагового диалога и многоязычной работы.
Характеристики#
Параметр | Значение |
|---|---|
Контекстное окно | 131K токенов |
Максимальная длина вывода | 16K токенов |
Мультимодальность | Текст |
Дата выхода | 6 декабря 2024 |
Бенчмарки#
Бенчмарк | Результат |
|---|---|
MMLU (0-shot, CoT) | 86.0% |
MMLU-Pro (5-shot, CoT) | 68.9% |
GPQA Diamond (0-shot, CoT) | 50.5% |
HumanEval | 88.4% |
IFEval | 92.1% |
Стоимость#
Тип токенов | Цена за 1M токенов |
|---|---|
Входящие (Input) | 11 руб |
Исходящие (Output) | 35 руб |
Оплата списывается с баланса DS Lab в DS-коинах. 1 DS-коин = 1 ₽.
API#
1. Создайте API-ключ на странице dslab.tech/api/keys
2. Используйте https://api.dslab.tech/v1 как base_url в любом OpenAI-совместимом SDK. Модель: llama-3.3-70b.
3. Ознакомьтесь с документацией SDK: platform.openai.com/docs/libraries
curl https://api.dslab.tech/v1/chat/completions \
-H "Authorization: Bearer YOUR_DSLAB_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "llama-3.3-70b",
"messages": [
{"role": "user", "content": "Напиши функцию сортировки на Python"}
]
}' Эндпоинт#
Отправляет запрос на получение ответа модели для заданного диалога. Поддерживает потоковый и обычный режим.
POST https://api.dslab.tech/v1/chat/completions
Поле | Значение |
|---|---|
Authorization | Bearer $DSLAB_API_KEY |
Content-Type | application/json |
Model | llama-3.3-70b |
Параметры#
Параметр | Тип | По умолчанию | Описание |
|---|---|---|---|
| integer | - | Максимальное количество токенов в ответе |
| string | object | auto | Управляет использованием инструментов: автоматический выбор, принудительный вызов или запрет |
| array | - | Список доступных инструментов и их параметров (формат OpenAI) |
| map | - | Задает требуемый формат ответа модели (например, JSON) |
| array | - | Останавливает генерацию при появлении указанных стоп-последовательностей токенов |
