Updated model card with language specific highliting
#2
by
ElijahKamski
- opened
README.md
CHANGED
|
@@ -19,7 +19,7 @@ Avibe-eagle — это реализация спекулятивного дек
|
|
| 19 |
|
| 20 |
### Пример запуска vllm-сервера
|
| 21 |
|
| 22 |
-
```
|
| 23 |
vllm serve AvitoTech/avibe \
|
| 24 |
--host 0.0.0.0 \
|
| 25 |
--port 8000 \
|
|
@@ -31,7 +31,7 @@ vllm serve AvitoTech/avibe \
|
|
| 31 |
|
| 32 |
Пример запроса
|
| 33 |
|
| 34 |
-
```
|
| 35 |
import openai
|
| 36 |
|
| 37 |
client = openai.Client(
|
|
@@ -73,7 +73,7 @@ print(f"- Скорость: {tokens/elapsed:.1f} токенов/сек")
|
|
| 73 |
|
| 74 |
### Пример запуска sglang-сервера
|
| 75 |
|
| 76 |
-
```
|
| 77 |
python3 -m sglang.launch_server --model AvitoTech/avibe \
|
| 78 |
--served_model_name Avibe-8B-eagle3 \
|
| 79 |
--speculative-algorithm EAGLE3 \
|
|
@@ -87,7 +87,7 @@ python3 -m sglang.launch_server --model AvitoTech/avibe \
|
|
| 87 |
|
| 88 |
Пример запроса с использованем OpenAI-API точно такой же как и для vllm
|
| 89 |
|
| 90 |
-
```
|
| 91 |
import openai
|
| 92 |
|
| 93 |
client = openai.Client(
|
|
|
|
| 19 |
|
| 20 |
### Пример запуска vllm-сервера
|
| 21 |
|
| 22 |
+
```sh
|
| 23 |
vllm serve AvitoTech/avibe \
|
| 24 |
--host 0.0.0.0 \
|
| 25 |
--port 8000 \
|
|
|
|
| 31 |
|
| 32 |
Пример запроса
|
| 33 |
|
| 34 |
+
```py
|
| 35 |
import openai
|
| 36 |
|
| 37 |
client = openai.Client(
|
|
|
|
| 73 |
|
| 74 |
### Пример запуска sglang-сервера
|
| 75 |
|
| 76 |
+
```sh
|
| 77 |
python3 -m sglang.launch_server --model AvitoTech/avibe \
|
| 78 |
--served_model_name Avibe-8B-eagle3 \
|
| 79 |
--speculative-algorithm EAGLE3 \
|
|
|
|
| 87 |
|
| 88 |
Пример запроса с использованем OpenAI-API точно такой же как и для vllm
|
| 89 |
|
| 90 |
+
```py
|
| 91 |
import openai
|
| 92 |
|
| 93 |
client = openai.Client(
|