migrate knowledge atlas to llama.cpp
This commit is contained in:
+8
-7
@@ -15,10 +15,11 @@ web/manage.sh status
|
||||
python3 web/app.py --host 100.114.68.27 --port 18080
|
||||
```
|
||||
|
||||
默认 Ollama 地址:
|
||||
默认 llama.cpp 地址:
|
||||
|
||||
```bash
|
||||
OLLAMA_URL=http://192.168.1.10:11434
|
||||
MODEL_API_LUNA_URL=http://192.168.1.10:11435/v1
|
||||
MODEL_API_SOL_URL=http://192.168.1.10:11436/v1
|
||||
```
|
||||
|
||||
访问地址:
|
||||
@@ -44,16 +45,16 @@ https://lab.k1412.top/
|
||||
- 主题导读、阅读路径、主题比较:`ChatGPT-5.6:Sol`,只在前端手动确认后调用
|
||||
- Search Agent 查询理解:`ChatGPT-5.6:Luna`
|
||||
- Search Agent 结果简报、搜索追问、论文对话:`ChatGPT-5.6:Terra`
|
||||
- Ollama 请求单并发执行,并缓存结果到 `web/cache/ai/`
|
||||
- 应用侧不下发 `num_ctx` / `keep_alive`,上下文长度和模型常驻由 Ollama 服务端统一控制
|
||||
- llama.cpp 请求单并发执行,并缓存结果到 `web/cache/ai/`
|
||||
- 应用侧不覆盖上下文长度,Luna 固定 8K,Terra/Sol 固定 32K
|
||||
- arXiv 摘要缓存到 `web/cache/arxiv/`
|
||||
|
||||
模型 tier 可以覆盖:
|
||||
|
||||
```bash
|
||||
OLLAMA_MODEL_LIGHT=ChatGPT-5.6:Luna \
|
||||
OLLAMA_MODEL_FAST=ChatGPT-5.6:Terra \
|
||||
OLLAMA_MODEL_LARGE=ChatGPT-5.6:Sol \
|
||||
MODEL_LIGHT=ChatGPT-5.6:Luna \
|
||||
MODEL_FAST=ChatGPT-5.6:Terra \
|
||||
MODEL_LARGE=ChatGPT-5.6:Sol \
|
||||
web/manage.sh restart
|
||||
```
|
||||
|
||||
|
||||
Reference in New Issue
Block a user