Claude Skill
RightNow-AI/picolm
开源 C 语言项目,用于在低成本嵌入式硬件上运行十亿参数大语言模型。支持在仅 256MB 内存的 10 美元开发板上进行 AI 推理。兼容 ARM、RISC-V 架构。
概览
仓库信息
🚀 安装这个 Skill
openclaw install RightNow-AI/picolm项目简介
Picolm 是一个基于 C 语言的项目,它使得在仅有 256MB 内存的低成本嵌入式硬件(例如 10 美元开发板)上运行 10 亿参数的大语言模型成为可能。
Run a 1-billion parameter LLM on a $10 board with 256MB RAM
要点
- 在嵌入式硬件上运行 10 亿参数大语言模型
- 极低内存需求(256MB RAM)
- 针对低成本(10美元)开发板优化
- 使用高效的 C 语言编写
- 支持 ARM 和 RISC-V 架构
使用场景
- 物联网设备的端侧 AI 推理
- 资源受限硬件上的教育项目
- 在树莓派上原型化 LLM 应用
- 大语言模型的边缘计算
- 展示高效的模型量化技术