Skip to content

Files

Latest commit

4f1b9c9 · Sep 4, 2024

History

History
40 lines (33 loc) · 2.32 KB

README.md

File metadata and controls

40 lines (33 loc) · 2.32 KB

LiteAI

提供比LiteLLM更简洁、范围更广的API,并支持更多的AI模型。

  • 增加国内厂商的sdk接入
  • 增加embedding/agent等接口
  • 简化模型的输入输出信息,方便下游处理
厂商 chat 流式chat Image输入 Image输出 Embedding ToolUse TTS ASR
ZhipuAI
Qwen
OpenAI
Doubao
MiniMax
Xunfei
Ollama
SiliconFlow

Install

pip install -U liteai

批量请求模型

liteai batch \
-d liteai/data/batch_test.jsonl \
-m glm-4v \
-w 2 \
--input_column text \
--image_column image \
--image_dir liteai/data \
--system "用英文回答" \
--output_path output/bath_test_glm4v.xlsx

具体参数定义使用 bash liteai batch --help查看