分类导航
发现更多优质 AI 工具
LocalAI
LocalAI 免费开源本地 AI 推理框架一、平台介绍官网地址：https://localai.io核心仓库：https://github.com/mudler/LocalAI协议说明：开源 MIT 协议，全免费。核心优势：🛡️ 隐私安全：离线本地/私有化运行，所有数据本地处理，绝不上传第三方。🤝 接口兼容：全兼容 OpenAI / Anthropic 接口，直接替换云端 API。🖥️ 硬件支持：支持 CPU / GPU / 分布式集群，适配 NVIDIA/AMD/Intel/Vulkan。⚡ 无限制服务：无厂商用量限速，无 Token 计费，无过期期限。🧩 多模态支持：支持文本、语音、图像、代码等全栈模型推理。二、主要功能1. 文本 LLM 推理兼容模型：Llama3、Qwen、Mistral、RWKV、CodeLlama 等。核心能力：Function Calling（函数调用）流式输出（Streaming）长上下文（Long Context）JSON 结构化返回定位：可直接作为本地 ChatGPT 替代方案。2. 多模态统一 API文生图/图生图：支持 Stable Diffusion 类模型。语音识别：Whisper 语音转文字。语音合成：TTS 语音克隆。图像理解：图像识别 Embedding、重排序 Rerank。3. 配套生态内置LocalAGI：本地智能 Agent 框架。LocalRecall：本地向量知识库，可搭建离线 RAG 检索增强系统。4. 部署与扩展部署方式：Docker 一键启动、二进制包、源码编译、K8s 部署。集群支持：支持单机多模型、P2P 横向扩容。5. Web 管理面板访问入口：http://localhost:8080功能：可视化下载模型、对话调试、参数配置、接口测试。三、适用人群✅ 适合使用开发者：本地调试 AI 应用、私有代码知识库、低成本 API 服务。政企/合规行业：金融、医疗、政务等敏感数据禁止外发云端场景。隐私敏感用户：希望离线使用，拒绝对话数据被厂商采集训练。小团队/工作室：自建内部 AI 工具，节省月度 API 订阅费。运维/私有化工程师：搭建内网离线 AI 服务。❌ 不适合使用纯小白用户：无 Docker、Linux 命令行基础。硬件受限：无闲置硬件（建议 8G 内存起步，大模型需 16G+）。追求极致效果：本地硬件上限低，无法跑顶级超大参数量模型或追求顶级画质。四、免费与付费详情⚠️ 重要区分提示 localai.io 是核心开源框架（完全免费）； localai.world 是官方商业咨询/定制工具商店（付费增值服务）。 不需要付费也能完整使用 LocalAI 核心能力。1. 核心框架（100% 免费）开源代码、全部推理 API、Web 面板、多模型支持均无限制。无 Token 计费、无调用额度、无过期期限。仅消耗本机硬件资源，无平台服务费。2. 付费增值服务（非强制，按需选择）定价页面：https://localai.world/shop/定制工具：定制私有化 AI 工具（如法律助手），单品买断（$10 ~ €39）。咨询服务：技术咨询服务券（€200）。企业定制：企业私有化定制开发包（数千美元级）。五、快速使用步骤（推荐 Docker）1. 基础 CPU 版启动bashdocker run -p 8080:8080 --name local-ai localai/localai:latest-cpu 2. NVIDIA 显卡加速版启动bashdocker run --gpus all -p 8080:8080 localai/localai:latest-gpu-nvidia-cuda-12 (注：AMD/Intel 显卡需使用对应标签的镜像)3. 持久化存储（防止重启丢失模型）务必挂载本地目录存储模型，否则重启容器后模型会清空：bashdocker run -p 8080:8080 --name local-ai -v ./models:/models localai/localai:latest-gpu 4. 访问与管理浏览器访问管理面板：http://localhost:8080在面板中下载 GGUF 量化模型（推荐）。复制本地 OpenAI 兼容调用地址：http://localhost:8080/v1在任意客户端（如 OpenWebUI、Agnes AI、Python 脚本）填入该地址即可调用。5. 标准请求 JSON 示例json{ "model": "qwen-7b-chat-q4_k_m", "messages": [ { "role": "user", "content": "介绍 LocalAI" } ], "temperature": 0.7, "stream": false } 六、避坑指南1. 模型丢失坑 📉现象：容器删除或重启后，所有模型消失。解决：部署时必加卷挂载参数 -v ./models:/models。2. 硬件性能坑 🖥️现象：CPU 跑 7B 模型卡顿严重、内存溢出。建议：优先使用 Q4_K_M 量化 GGUF 模型；13B 模型建议≥16G 内存，34B≥24G 显存。3. 国内下载失败 📴现象：官方模型源在海外，国内下载慢或中断。解决：手动下载 GGUF 文件放入本地 models 文件夹即可。4. 端口访问与鉴权 🔒外网/局域网：访问需放行 8080 端口。安全性：无鉴权默认开放，生产环境必须配置 API Key 鉴权或防火墙。5. 文档与扩展 🔍现象：高级配置、分布式、RAG 文档不全。解决：遇到问题优先查阅 GitHub Issues 或社区 Wiki。6. 显卡兼容性 🎮现象：AMD/Intel 使用 nvidia 镜像导致无法识别 GPU。解决：根据显卡品牌选择对应标签的 Docker 镜像（WSL 需额外配置）。7. 并发崩溃 OOM 💥现象：多客户端同时调用导致内存爆炸崩溃。解决：设置环境变量限制并发请求数 MAX_ACTIVE_REQUESTS。8. 商用版权 ⚖️注意：框架本身免费开源，但下载的 LLM/图像模型需遵守对应协议。行动：商用前请自行审核模型授权。9. 网络误区 🌐概念：框架本身可离线，但首次下载模型必须联网。场景：模型下载完成后，断网即可全功能运行。10. 付费站点混淆 💸警告：localai.io 是开源官网；localai.world 是付费商城。建议：非企业定制需求，无需付费。
Ollama
Ollama使用全指南一、平台介绍Ollama 是一款开源的本地大模型运行管理器。它支持一键部署 GGUF 量化 LLM，并自动适配 NVIDIA、AMD 及 Mac Metal 等硬件加速。所有推理均在本地离线执行，确保数据不上传至第三方服务器，无云端托管、无在线 SaaS 服务。核心定位：纯本地客户端程序，无在线后台。模型库地址：https://ollama.com/library核心优势：数据隐私安全，完全断网可用，规避 API 费用。二、主要功能极简模型管理支持单行命令进行拉取、运行、删除、导出模型。自动进行 4bit/8bit 量化压缩，显著降低硬件门槛。跨平台全适配完美支持 Windows、macOS、Linux 系统。即使无独立显卡，CPU 亦可运行轻量级模型。OpenAI 兼容 API本地端口默认为 11434。可无缝对接 Dify、AnythingLLM、LangChain 及自定义代码。离线对话支持断网环境下完全离线使用 AI。提供命令行交互式聊天模式。自定义模型封装支持编写 Modelfile。可自定义微调提示词、参数设置及上下文长度。硬件自动调度自动识别显卡显存。支持负载均衡，可限制 CPU/内存占用，防止资源耗尽。批量服务支持后台常驻 ollama serve。允许多个程序并发调用本地模型。三、适用人群✅ 适合场景开发者：构建本地 RAG、Agent、AI 工具原型，规避云端 API 费用与数据泄露风险。办公/学生：本地私密写作、代码生成、知识库构建，敏感文档不传到外网。私有化团队：内网服务器部署，实现企业数据本地闭环。AI 爱好者：低成本测试 Llama3、Qwen、DeepSeek、Mistral 等开源模型。离线场景：网络受限或无网络环境下使用 AI。❌ 不适合场景高并发公网商用服务：并发性能弱于 vLLM 或 TGI，不适合大规模公网 API 接口。无本地电脑用户：仅希望网页在线聊天的用户。文生图/视频需求：Ollama 主打文本大模型，原生多模态支持有限。四、免费&付费、定价页面💰 收费规则（全程 100% 免费无付费套餐）软件本体：开源免费，无订阅、无 Token 计费、无会员、无功能锁。模型资源：全部免费下载，仅消耗本地硬盘与内存资源，无任何线上扣费。商业定位：无官方云服务，因此不存在定价页面。官方说明：Ollama 是本地开源工具，无付费商业套餐，官网无 pricing 页面。🔗 官方关键链接官网主页：https://ollama.com下载页：https://ollama.com/download模型库：https://ollama.com/library官方文档：https://docs.ollama.com五、如何使用（极简步骤）1. 安装软件Windows：官网下载 exe 安装包。macOS：下载 dmg 或执行 brew install ollama。Linux：执行 curl -fsSL https://ollama.com/install.sh | sh。验证安装：终端执行 ollama --version。2. 拉取模型bashollama pull qwen2:7b # 中文 7B 通用 ollama pull llama3:8b # 英文通用 ollama pull codellama:7b # 代码专用 3. 命令行对话bashollama run qwen2:7b # 输入问题，输入 /bye 退出对话 4. 启动 API 服务bashollama serve # API 地址 http://localhost:11434/v1 # 兼容 OpenAI 请求格式 注意：默认仅监听本机访问。5. 常用管理命令bashollama list # 查看本地模型 ollama rm qwen2:7b # 删除模型 ollama ps # 查看运行中模型 6. API 请求 JSON 示例json{ "model": "qwen2:7b", "messages": [ {"role":"user","content":"简要介绍 Ollama"} ], "temperature": 0.7, "stream": false } 六、避坑点国内模型下载极慢模型源在海外，大文件易中断。解决方案：配置终端代理、离线手动导入 GGUF 模型文件。C 盘爆满模型默认存储于 C:\Users\用户名\.ollama\models。解决方案：提前设置环境变量 OLLAMA_MODELS 迁移至其他磁盘。硬件门槛踩坑7B 模型最低建议 8G 内存，13B 建议 16G。无独显 CPU 运行速度极慢，大模型易卡顿死机。局域网/远程无法访问 API默认仅监听 127.0.0.1。解决方案：启动服务前配置环境变量：OLLAMA_HOST=0.0.0.0 ollama serve。无鉴权，公网暴露高危开放 0.0.0.0 后任何人可调用本地模型。解决方案：公网部署必须加 Nginx 密码或 IP 白名单。端口 11434 冲突其他程序占用端口会启动失败。解决方案：可修改 OLLAMA_HOST=127.0.0.1:11435 更换端口。并发能力弱多程序同时调用会排队阻塞，不适合线上高并发业务场景。无原生图形界面纯命令行/API 工具，可视化需搭配 Dify、Open WebUI 等第三方前端。系统资源占满蓝屏Ollama 默认吃满内存。解决方案：通过环境变量限制内存，后台不要同时开大型软件。模型商用权限区分Ollama 本身免费，但部分模型（如 Llama 系列）有商用限制。提示：Qwen、DeepSeek 可免费商用，使用前请核对模型协议。
PDFMathTranslate
PDFMathTranslate 实用操作指南快速上手：三种主流使用方式1. 在线免安装（最推荐，小白首选）公共免费服务：访问 https://pdf2zh.com/ 直接上传翻译沉浸式翻译 - BabelDOC：每月有 1000 页免费额度，访问 https://app.immersivetranslate.com/babel-doc/HuggingFace/ModelScope 演示：搜索相关空间即可使用2. Windows 一键运行（无需编程基础）前往 GitHub 的 Releases 页面下载 pdf2zh-版本-win64.zip解压压缩包双击运行 pdf2zh.exe 即可注意：如果提示无法打开，请先安装 vc_redist.x64.exe3. 命令行/Python 安装（适合开发者或高级用户） # 1. 安装依赖 (需 Python 3.11 或 3.12) pip install pdf2zh # 2. 翻译单个文件 (生成译文和双语对照版) pdf2zh example.pdf # 3. 启动图形界面 (GUI) pdf2zh -i 🛠️ 核心参数与进阶技巧常用参数列表**-i**：启动图形化界面 (GUI)**-s**：指定翻译服务（支持 deepl, openai 等）**-li**：指定源语言（如 -li en，默认自动检测）**-lo**：指定目标语言（如 -lo zh，默认中文）**-p**：仅翻译指定页码（如 -p 1-10 只翻前10页）**-t**：设置线程数（如 -t 2 加快处理速度）**--dir**：批量翻译文件夹**--mode**：切换翻译内核（如 --mode precise 使用高精度模式）实用组合案例高精度翻译：pdf2zh example.pdf --mode precise使用 DeepL 翻译：pdf2zh example.pdf -s deepl生成双语对照 PDF：直接运行 pdf2zh example.pdf，默认生成 example-dual.pdf🐳 Docker 部署（适合长期本地化使用） # 拉取镜像 docker pull byaidu/pdf2zh # 启动容器 (映射端口 7860) docker run -d -p 7860:7860 byaidu/pdf2zh 启动后，在浏览器访问 http://localhost:7860/ 即可看到操作界面。⚠️ 常见问题与避坑指南1. 模型下载失败（报错 DocLayout-YOLO）问题原因：通常是网络无法访问 HuggingFace解决方法：设置环境变量使用镜像站Windows 命令行：set HF_ENDPOINT=https://hf-mirror.comPowerShell：$env:HF_ENDPOINT = "https://hf-mirror.com"2. 翻译效果不佳尝试使用 --mode precise 参数，该模式使用 v2.0 内核，对公式和布局的保留更完善（但速度较慢）3. API 调用注意：当前版本的内部 API 已弃用如需二次开发，请直接调用底层库 BabelDOC 的 babeldoc.high_level.async_translate 函数