Amvera LLM Inference¶

Общая доступность LLM планируется 15 июля 2025 г.

Мы предоставляем доступ к нескольким большим языковым моделям через единый публичный API.

Аутентификация¶

Чтобы использовать Amvera LLM Inference API, необходимо пройти аутентификацию:

Для этого в ЛК, нужно зайти в любую модель в разделе LLM, и скопировать токен доступа. Затем, при обращении к моделе, укажите токен доступа в заголовке X-Auth-Token в следующем формате: [X-Auth-Token: Bearer <access_token>]

API¶

Доступные варианты инференса¶

/llama

llama8b — модель с 8 миллиардами параметров, оптимизированная для эффективной обработки текста.
llama70b — модель с 70 миллиардами параметров, обеспечивающая более высокое качество генерации и обработки текста.

/gpt

gpt-4.1 — модель gpt-4.1 от OpenAI.
gpt-5 — модель gpt-5 от OpenAI.

Конечная точка модели¶

Для отправки запросов к моделям используйте следующий формат запроса к конечной точке: POST /models/<inference_name>. Например: POST /models/llama

Эта конечная точка позволяет отправлять запросы к выбранной модели. В зависимости от ваших нужд, в теле запроса нужно выбрать одну из доступных моделей (llama8b или llama70b).

Пример запроса/ответа:¶

Request:

{
  "model": "llama8b", 
  "messages": [
    {
      "role": "user",
      "text": "Hi, how are you?"
    }
  ]
}

Интеграция с LangChain/LangGraph¶

Установите библиотеку для интеграции.

pip install langchain langchain-amvera

Код интеграции

from langchain_amvera import AmveraLLM
from dotenv import load_dotenv
import os

load_dotenv()

# Поддерживаемые модели: llama8b, llama70b, gpt-4.1, gpt-5
llm = AmveraLLM(model="llama70b", api_token=os.getenv("AMVERA_API_TOKEN"))

response = llm.invoke("Объясни принципы работы нейросетей простым языком")
print(response.content)

Файл .env:

AMVERA_API_TOKEN=your_amvera_token_here

Подробная информация про адаптер для LangChain/LangGraph по ссылке https://pypi.org/project/langchain-amvera/