Update README.md

README.md

@@ -174,4 +174,110 @@ curl http://localhost:30000/v1/chat/completions \
     "max_tokens": 1000,
     "temperature": 0
   }'
-```
+```
+
+## Function call
+
+### 1. `vLLM`
+
+Соберите dev версию, коммит>=[21bb323](https://github.com/vllm-project/vllm/tree/21bb323542bad9d7a7206d949f33734caf48c40c))
+
+Запуск сервера
+```shell
+# VLLM DeepGemm conflicts with our hidden dim size.
+# Fix: Disable it via env var (VLLM_USE_DEEP_GEMM=0).
+VLLM_USE_DEEP_GEMM=0 vllm serve ai-sage/GigaChat3-10B-A1.8B \
+  --dtype "auto" \
+  --speculative-config '{"method": "mtp", "num_speculative_tokens": 1, "disable_padded_drafter_batch": false}' \
+  --enable-auto-tool-choice \
+  --tool-call-parser gigachat3
+```
+
+Пример запроса
+```shell
+curl http://localhost:8000/v1/chat/completions \
+  -H "Content-Type: application/json" \
+  -d '{
+  "model": "ai-sage/GigaChat3-10B-A1.8B",
+  "temperature": 0,
+  "messages": [
+    {
+      "role": "user",
+      "content": "Какая сейчас погода в Москве?"
+    }
+  ],
+  "tools": [
+    {
+      "type": "function",
+      "function": {
+        "name": "get_weather",
+        "description": "Получить информацию о текущей погоде в указанном городе.",
+        "parameters": {
+          "type": "object",
+          "properties": {
+            "city": {
+              "type": "string",
+              "description": "Название города (например, Москва, Казань)."
+            }
+          },
+          "required": ["city"]
+        }
+      }
+    }
+  ]
+}'
+```
+
+### 2. `SGLang`
+
+Соберите dev версию на данной ветке - https://github.com/sgl-project/sglang/pull/14765.
+
+Запуск сервера
+```shell
+python -m sglang.launch_server \
+  --model-path ai-sage/GigaChat3-10B-A1.8B \
+  --host 0.0.0.0 \
+  --port 30000 \
+  --dtype auto \
+  --mem-fraction-static 0.88 \
+  --speculative-algorithm EAGLE \
+  --speculative-num-steps 1 \
+  --speculative-eagle-topk 1 \
+  --speculative-num-draft-tokens 2
+  --tool-call-parser gigachat3
+```
+
+Пример запроса
+```shell
+curl http://localhost:30000/v1/chat/completions \
+  -H "Content-Type: application/json" \
+  -d '{
+  "model": "ai-sage/GigaChat3-10B-A1.8B",
+  "temperature": 0,
+  "messages": [
+    {
+      "role": "user",
+      "content": "Какая сейчас погода в Москве?"
+    }
+  ],
+  "tools": [
+    {
+      "type": "function",
+      "function": {
+        "name": "get_weather",
+        "description": "Получить информацию о текущей погоде в указанном городе.",
+        "parameters": {
+          "type": "object",
+          "properties": {
+            "city": {
+              "type": "string",
+              "description": "Название города (например, Москва, Казань)."
+            }
+          },
+          "required": ["city"]
+        }
+      }
+    }
+  ]
+}'
+```