Hugging Face 在 nanoVLM 中从零实现 KV Cache，生成速度提升 38%
Hugging Face 在 nanoVLM 仓库中从零实现了 KV Cache，让生成速度提升 38%。nanoVLM 是一个用纯 PyTorch 训练自建视觉语言模型的精简代码库，KV Cache 在 Attention 块、语言模型和生成循环三处启用，将逐 token 生成从全序列重算改为增量更新。相关经验可推广到所有自回归语言模型的生成场景。
#Hugging Face
#Hugging Face
今日 0 条Hugging Face BlogAI 评分2222
Hugging Face BlogAI 评分2222 Arm CPU 上实时 AI 音效生成：基于 Stable Audio Open 的个人创作工具
Arm 生态负责人 Michael Gamble 用 Stable Audio Open 模型在 Arm CPU 上搭建了一个本地音效生成工具，输入提示词几秒内即可生成 .wav 文件并直接进入 Ableton Live。该工具基于 PyTorch 和 TorchAudio，无需 GPU 或云端推理，也支持 Metal 和 CUDA，目前仍是个人原型。
Hugging Face Blog精选AI 评分6262 H Company 开源 Holo1 系列 GUI 自动化 VLM，并发布 WebClick 基准
H Company 在 Hugging Face 上开源 Holo1 系列 Action VLM，包含 Holo1-3B 和 Holo1-7B，其中 Holo1-7B 在常见 UI 定位基准上平均准确率 76.2%。
推荐理由：开源 GUI 自动化 VLM 与 1,639 条 WebClick 基准一起放出，做浏览器自动化的可以直接下载权重自托管。
Hugging Face Blog精选AI 评分6262 TRL 支持 vLLM 同卡部署，GRPO 训练可省下闲置 GPU
TRL 在 v0.18.0 起支持 vLLM 的 colocate 模式，训练与推理共用同一批 GPU、走同一个分布式进程组，不再需要单独的 vLLM 服务器进程和专用 GPU。
推荐理由：TRL 新增 vLLM 同卡部署模式，跑 GRPO 训练的可把推理与训练放同一批 GPU，省下闲置卡。
Hugging Face Blog精选AI 评分6262 DeepSeek-V3-0324 上线 Hugging Face，改用 MIT 许可并提升代码与数学能力
DeepSeek-V3-0324 本周出现在 Hugging Face Hub，架构与初代 DeepSeek-V3 相同，但许可从自定义模型许可改为 MIT，重点提升指令遵循、代码与数学能力。
推荐理由：DeepSeek-V3-0324 改用 MIT 许可并提升代码与数学能力，自托管或调 API 的可以换版本重测基准。
Hugging Face Blog精选AI 评分6262 用 Sentence Transformers 微调重排模型：150M 小模型 30 分钟超过 13 个公开基线
Hugging Face 发布教程，讲如何用 Sentence Transformers 的 CrossEncoderTrainer 微调重排模型（cross-encoder），涵盖数据集格式、损失函数、训练参数、评估器和训练器五个组件。
推荐理由：用 99k 条 GooAQ 数据微调 150M 重排模型，30 分钟就能超过 13 个公开基线，做搜索的可以照脚本复现。
Hugging Face BlogAI 评分3636 Gradio 发布新版 Dataframe 组件：新增多单元格选择、列固定与搜索过滤
Gradio 发布 gr.Dataframe 组件更新，过去 6 周关闭了 70 多个相关 issue。新功能包括多单元格选择、行号与列固定（pinned_columns）、复制与全屏按钮、搜索和过滤（show_search）、静态列（static_columns）以及键盘导航等无障碍改进。更新已上线最新 Gradio 版本，可通过 pip install --upgrade gradio 升级。
Hugging Face BlogAI 评分2222 Hugging Face 更新 Inference Endpoints 分析面板：实时指标、自定义时间范围与副本生命周期视图
Hugging Face 为 Inference Endpoints 的分析面板推出更新，指标数据改为实时更新，并重做了后端以加快高流量端点的数据加载。新增可自定义时间范围与自动刷新，以及展示每个副本从初始化到终止各状态转换的副本生命周期视图。官方表示仍在持续迭代并欢迎反馈。
Hugging Face BlogAI 评分4848 Open R1 教程：如何在本地用 OlympicCoder 7B 做代码补全
Hugging Face 发布教程，介绍如何在本地用 LM Studio 运行 4bit GGUF 量化的 OlympicCoder 7B，并通过 Continue 扩展接入 VS Code 实现代码补全、生成、解释、重构和写测试。
Hugging Face BlogAI 评分4040 NVIDIA 在 GTC 2025 发布面向物理 AI 开发者的开源模型与数据集：Cosmos Transfer、Physical AI Dataset 与 Isaac GR00T N1
NVIDIA 在 GTC 2025 发布三款面向物理 AI 的开源成果：70 亿参数的 Cosmos Transfer 世界基础模型、15TB 的 Physical AI Dataset，以及首个通用人形机器人开源基础模型 Isaac GR00T N1。
Hugging Face BlogAI 评分3434 Hugging Face 将首批模型与数据集仓库从 LFS 迁移至 Xet 存储
Hugging Face 已将首批 Model 和 Dataset 仓库从 LFS 迁移到 Xet 存储，约 6% 的 Hub 下载流量切换到 Xet 基础设施，当天共迁移 4.5 TB 数据。
Hugging Face Blog精选AI 评分6565 Google 发布 Gemma 3 开放权重模型，1B 到 27B 四个尺寸、4B 以上支持图像与 128k 上下文
Google 发布 Gemma 3，这是 Gemma 系列的新一代开放权重模型，提供 1B、4B、12B、27B 四个尺寸，均有预训练版和指令微调版。4B、12B、27B 支持图像与文本输入并覆盖 140 多种语言，1B 仅支持文本和英语；上下文窗口从 Gemma 2 的 8k 提升到 1B 的 32k、其余三档的 128k。
推荐理由：Gemma 3 四个尺寸全部开放权重，4B 以上支持图像与 128k 上下文，本地跑多模态的可以换模型了。
Hugging Face Blog精选AI 评分6262 Open R1 更新：发布 CodeForces-CoTs 数据集与 OlympicCoder 7B/32B 代码模型
Hugging Face 的 Open R1 项目发布 CodeForces-CoTs 数据集，包含近 10 万条由 DeepSeek-R1 蒸馏、以 C++ 和 Python 生成的高质量解题样本，并开源 open-r1/codeforces 数据集（超 1 万个题目，约 3000 个未收录于 DeepMind 数据集）。
推荐理由：开源了 CodeForces-CoTs 数据集与 OlympicCoder 模型，做代码推理微调的可以直接拿去用。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 Yaak 发布 L2D：全球最大开源自动驾驶数据集，90TB、5000 小时驾驶数据
Hugging Face 的 LeRobot 团队与 Yaak 联合发布 L2D（Learning to Drive），称其为全球最大的开源自动驾驶数据集，含 90TB 以上多模态数据、5000 小时以上驾驶记录，来自德国 30 座城市的 60 辆驾校车辆，采集历时 3 年。
推荐理由：L2D 以 LeRobot 格式放出 90TB 驾驶数据，做端到端驾驶或机器人模仿学习的可以直接拉取训练。
Hugging Face BlogAI 评分5252 用 React Native 在手机上本地跑 LLM：一份实操教程
Hugging Face 发布教程，讲如何用 React Native 配合 llama.rn（llama.cpp 的绑定）在 Android 和 iOS 上加载 GGUF 文件、从 Hugging Face Hub 下载模型并完全离线对话，完整代码在 EdgeLLM 仓库。
Hugging Face Blog精选AI 评分6262 Cohere For AI 开源 Aya Vision 8B 与 32B 多语言视觉语言模型
Cohere For AI 发布 Aya Vision 系列开源权重视觉语言模型，含 8B 和 32B 两个参数规模，覆盖 23 种语言，支持图像描述、视觉问答、文本生成以及图文翻译。
推荐理由：Cohere For AI 放出 8B 和 32B 多语言视觉模型权重，做多语言图像理解的可以直接下载自托管。
Hugging Face Blog精选AI 评分6262 Llama 3.2 发布：可看图，也能在设备端运行
Hugging Face 博客宣布 Llama 3.2 发布，该版本支持视觉理解，并可在设备端运行。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 做低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 微调 facebook/w2v-bert-2.0 做低资源语音识别。
Hugging Face BlogAI 评分5858 Intel Labs 与 Hugging Face 发布 SetFitABSA：少样本方面级情感分析框架
Intel Labs 与 Hugging Face 推出 SetFitABSA，一个用于少样本训练领域特定方面级情感分析（ABSA）模型的框架，已集成进 SetFit 库。
Hugging Face BlogAI 评分3434 AMD 与 Hugging Face 合作：AMD Instinct GPU 开箱即用加速大语言模型
Hugging Face Transformers 现已支持在 AMD Instinct GPU 上无需修改代码即可运行全部模型和任务，并原生集成 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速工具。
Hugging Face BlogAI 评分2222 Hugging Face Hub 推出存储区域功能：企业版模型与数据集可选 US / EU 存放
Hugging Face 为 Enterprise Hub 推出 Storage Regions，组织可自选模型与数据集的存储区域，目前支持 US 和 EU，Asia-Pacific 即将上线。非默认区域的仓库会直接显示 Region 标签，便于成员查看存放位置。官方称欧洲用户将仓库放在 EU 区域，上传和下载速度约比存放在 US 快 4-5 倍，并可用于满足 GDPR 合规要求。
Hugging Face Blog精选AI 评分6666 Hugging Face 教你用自家代码库训练个人 Copilot
Hugging Face 发布教程，介绍如何基于自家 GitHub 公开仓库代码微调代码模型，做出名为 HugCoder 的个人 Copilot。数据采集上，作者用 Python 多进程并行克隆仓库并过滤非代码文件，最终数据集取 transformers、diffusers、peft 等 star 数最高的 10 个 Hugging Face 公开仓库。
推荐理由：想用自家代码库训代码补全模型的，这篇给了从抓取、QLoRA 微调到本地 MLC 部署的完整流程和成本数字。
Hugging Face BlogAI 评分2828 用 Hugging Face Inference Endpoints 部署开源 Embedding 模型
Hugging Face 发布教程，介绍如何用 Text Embeddings Inference（TEI）把开源 Embedding 模型部署到 Inference Endpoints，并支持大规模批量请求。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Gradio-Lite，Gradio 应用可完全在浏览器中无服务器运行
Hugging Face 发布 @gradio/lite，一个基于 Pyodide 的 JavaScript 库，让 Gradio 应用直接在浏览器中运行，无需服务端基础设施。
推荐理由：Gradio 应用可以完全跑在浏览器里，不用再为演示页养一台服务器，代价是首次加载要等 5-15 秒。
Hugging Face BlogAI 评分2222 Hugging Face 上超 13 万个模型可用 ONNX Runtime 加速
Hugging Face 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，ONNX Runtime 共支持 90 多个 Hugging Face 模型架构，涵盖 BERT、GPT2、T5、Whisper 等 11 个最热门架构。以 whisper-tiny 为例，用 ONNX Runtime 加速后单次推理平均延迟相比 PyTorch 最高提升 74.30%。
Hugging Face BlogAI 评分2222 非工程师指南：用 AutoTrain 和 ChatUI 训练一个 LLaMA 2 聊天机器人
Hugging Face 发布教程，演示非工程师如何零代码训练并部署 LLaMA 2 聊天机器人。流程分三步：在 Spaces 创建 AutoTrain Space，用 AutoTrain 对 Meta 的 Llama 2 7b 基础模型做指令微调（示例用 Alpaca 数据集，A10G Large 即可），再用 ChatUI 部署成可分享的聊天应用。
Hugging Face Blog精选AI 评分6060 Hugging Face 为 PRO 用户推出 Inference API，含 Llama 3、Mixtral 等模型与更高限流
Hugging Face 为 PRO 订阅用户推出 Inference for PROs，提供 Llama 3 Instruct 8B/70B、Mixtral 8x7B Instruct。
推荐理由：Hugging Face PRO 新增一批托管模型 API 与更高限流，想省掉自建推理的可以先拿它做原型。
Hugging Face BlogAI 评分1212 Rocket Money 如何用 Hugging Face 推理 API 支撑每月超 1 亿笔交易分类
Rocket Money 将每月超 1 亿笔交易的商户识别从正则系统迁移到 Hugging Face Inference API，托管其 4000+ 类别的 BERT 分类模型。团队用三个月逐步放量并做最坏情况模拟压测，最终选定 Hugging Face，因其接入快、能动态扩缩容，且无需自建 MLOps 团队。
Hugging Face BlogAI 评分3636 如何在生产环境中优化 LLM：降低精度、Flash Attention 与架构改进
Hugging Face 梳理了在生产环境部署 LLM 的三类优化手段：8-bit 和 4-bit 低精度推理、Flash Attention 以及 Alibi、Rotary embeddings、MQA、GQA 等架构改进。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Würstchen：42x 压缩的快速文生图扩散模型
Hugging Face 发布 Würstchen，一种文本条件扩散模型，其文本条件部分在高度压缩的潜空间中工作，实现 42x 空间压缩，推理比 Stable Diffusion XL 更快且显存占用更低。
推荐理由：Würstchen 以 42x 空间压缩把文生图推理显存和训练成本压到 SDXL 之下，显存吃紧的可以换它跑 1024 到 1536 分辨率。
Hugging Face Blog精选AI 评分6262 用 DPO 微调 Llama 2：TRL 新增 DPOTrainer 并给出完整训练代码
Hugging Face 在 TRL 库中上线 Direct Preference Optimization（DPO）训练器，用二元交叉熵损失直接优化偏好数据，省去 RLHF 中的奖励模型训练和 RL 优化两步。
推荐理由：TRL 里新增 DPO 训练器，附 Llama 2 7B 的 QLoRA 微调完整代码，想省掉奖励模型和 RL 环节的可以直接照跑。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 swift-transformers，在 Apple 设备上本地运行 LLM
Hugging Face 发布 swift-transformers，一个开发中的 Swift 包，为 Swift 开发者提供类似 transformers 的 API，专注文本生成，并支持从 Hub 下载模型与 tokenizer 配置。
推荐理由：想在 iOS/Mac 应用里跑本地 LLM 的 Swift 开发者，可以直接用这套 alpha 工具链和已转换好的 Llama 2、Falcon 模型起步。
Hugging Face BlogAI 评分2222 用 Inference Endpoints 快速部署 MusicGen
Hugging Face 发布教程，介绍如何通过 Inference Endpoints 的自定义 handler 部署 facebook/musicgen-large 音乐生成模型。
Hugging Face BlogAI 评分2222 Huggy Lingo：用机器学习改进 Hugging Face Hub 数据集的语言元数据
Hugging Face 用机器学习为 Hub 上缺少语言元数据的数据集自动识别语言，并通过 librarian-bots 提交 PR 补全元数据。
Hugging Face BlogAI 评分3030 Zama 用全同态加密让 Hugging Face GPT2 在加密数据上推理
Zama 展示了如何借助 Hugging Face transformers 库，用全同态加密（FHE）让 GPT2 的部分推理直接在加密数据上运行，从而同时保护用户数据隐私与模型 IP。
Hugging Face BlogAI 评分3636 用 Shap-E 和 Dream Textures 生成 PS1 风格 3D 资产的实操指南
这份教程演示了如何用 OpenAI 开源模型 Shap-E 从文本生成 3D 模型，再经 Blender 的 Decimate 修改器减面、Dream Textures 插件生成无缝贴图，最终导出 FBX 并导入 Unity，做出 PS1 风格的低保真 3D 资产。流程共 7 步，需 Blender 3.1 或更高版本，并假设读者具备材质与 UV 映射等基础知识。
Hugging Face Blog精选AI 评分6262 Segmind 开源 SD-Small 与 SD-Tiny 的蒸馏代码和权重
Segmind 开源了压缩版 Stable Diffusion 模型 SD-Small 和 SD-Tiny 的权重与知识蒸馏训练代码，两者参数量分别比基础模型少 35% 和 55%，推理速度最高快 100%。
推荐理由：Segmind 开源了 SD-Small 与 SD-Tiny 的权重和蒸馏代码，参数少 35% 和 55%，想在本地跑图或做 LoRA 微调的可以省下算力。
Hugging Face BlogAI 评分2222 Hugging Face Spaces 集成 Panel 模板，可直接部署 Python 数据应用
Hugging Face 与 Panel 合作，在 Hugging Face Spaces 中集成了 Panel 模板，方便开发者构建并部署 Panel 应用。Panel 是开源 Python 库，支持 Matplotlib、Plotly、Bokeh 等绘图库，可构建仪表盘和多页交互应用，并已支持 Pyodide 与 WebAssembly 在浏览器中运行。
Vercel Changelog精选AI 评分6262 Vercel 发布开源 AI SDK，支持 React/Svelte 流式对话界面
Vercel 发布开源 AI SDK，一个用于在 JavaScript 和 TypeScript 中构建对话、流式和聊天界面的库，支持 React/Next.js、Svelte/SvelteKit，Nuxt/Vue 支持即将推出。
推荐理由：Vercel 开源了 AI SDK，用 React/Svelte hooks 几行代码就能接 OpenAI、LangChain 和 Hugging Face 做流式对话界面。
Hugging Face Blog精选AI 评分6262 Hugging Face 用 bitsandbytes、4-bit 量化和 QLoRA 让大模型更易部署
Hugging Face 发布博客，介绍通过 bitsandbytes、4-bit 量化与 QLoRA 让大语言模型更易获取。原文正文抓取失败，仅标题可用。