type
status
date
slug
summary
tags
category
icon
password
网址
GitHub 上又诞生了一款本地运行 AI 模型的开源工具：Shimmy，全面超越 Ollama。
仅仅 5MB 大小单文件，便提供快速、可靠的本地 AI 推理，同时提供完整的 OpenAI 兼容 API。
基于 Rust 构建，性能优化达到了极致，启动时间不到 100ms、内存占用仅 50MB。
GitHub：github.com/Michael-A-Kuyk…
并且无需配置，自动端口分配，以及可自动发现模型源，包括 Hugging Face、Ollama、以及本地目录等。
与 Ollama 的对比，在文件大小、启动时间、内存占用等各方面指标，显示全面超越了，感兴趣的同学可安装试试。
- Author:无敌宝宝男sp
- URL:http://www.wudibaobaoda.top/article/2704032f-33bf-8011-8751-ea9d53afe5cd
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
