DeepSeek-V3-0324 上线 Hugging Face,改用 MIT 许可并提升代码与数学能力
DeepSeek-V3-0324 本周出现在 Hugging Face Hub,架构与初代 DeepSeek-V3 相同,但许可从自定义模型许可改为 MIT,重点提升指令遵循、代码与数学能力。
推荐理由:DeepSeek-V3-0324 改用 MIT 许可并提升代码与数学能力,自托管或调 API 的可以换版本重测基准。
开源模型与推理端点的价格、许可与可用性;自托管替代付费 API 的路径。
DeepSeek-V3-0324 本周出现在 Hugging Face Hub,架构与初代 DeepSeek-V3 相同,但许可从自定义模型许可改为 MIT,重点提升指令遵循、代码与数学能力。
推荐理由:DeepSeek-V3-0324 改用 MIT 许可并提升代码与数学能力,自托管或调 API 的可以换版本重测基准。
Hugging Face 发布教程,讲如何用 Sentence Transformers 的 CrossEncoderTrainer 微调重排模型(cross-encoder),涵盖数据集格式、损失函数、训练参数、评估器和训练器五个组件。
推荐理由:用 99k 条 GooAQ 数据微调 150M 重排模型,30 分钟就能超过 13 个公开基线,做搜索的可以照脚本复现。
Google 发布 Gemma 3,这是 Gemma 系列的新一代开放权重模型,提供 1B、4B、12B、27B 四个尺寸,均有预训练版和指令微调版。4B、12B、27B 支持图像与文本输入并覆盖 140 多种语言,1B 仅支持文本和英语;上下文窗口从 Gemma 2 的 8k 提升到 1B 的 32k、其余三档的 128k。
推荐理由:Gemma 3 四个尺寸全部开放权重,4B 以上支持图像与 128k 上下文,本地跑多模态的可以换模型了。
Hugging Face 的 Open R1 项目发布 CodeForces-CoTs 数据集,包含近 10 万条由 DeepSeek-R1 蒸馏、以 C++ 和 Python 生成的高质量解题样本,并开源 open-r1/codeforces 数据集(超 1 万个题目,约 3000 个未收录于 DeepMind 数据集)。
推荐理由:开源了 CodeForces-CoTs 数据集与 OlympicCoder 模型,做代码推理微调的可以直接拿去用。
Hugging Face 的 LeRobot 团队与 Yaak 联合发布 L2D(Learning to Drive),称其为全球最大的开源自动驾驶数据集,含 90TB 以上多模态数据、5000 小时以上驾驶记录,来自德国 30 座城市的 60 辆驾校车辆,采集历时 3 年。
推荐理由:L2D 以 LeRobot 格式放出 90TB 驾驶数据,做端到端驾驶或机器人模仿学习的可以直接拉取训练。
Cohere For AI 发布 Aya Vision 系列开源权重视觉语言模型,含 8B 和 32B 两个参数规模,覆盖 23 种语言,支持图像描述、视觉问答、文本生成以及图文翻译。
推荐理由:Cohere For AI 放出 8B 和 32B 多语言视觉模型权重,做多语言图像理解的可以直接下载自托管。
Hugging Face 博客宣布 Llama 3.2 发布,该版本支持视觉理解,并可在设备端运行。
Hugging Face 发布教程,介绍如何基于自家 GitHub 公开仓库代码微调代码模型,做出名为 HugCoder 的个人 Copilot。数据采集上,作者用 Python 多进程并行克隆仓库并过滤非代码文件,最终数据集取 transformers、diffusers、peft 等 star 数最高的 10 个 Hugging Face 公开仓库。
推荐理由:想用自家代码库训代码补全模型的,这篇给了从抓取、QLoRA 微调到本地 MLC 部署的完整流程和成本数字。
Hugging Face 发布 @gradio/lite,一个基于 Pyodide 的 JavaScript 库,让 Gradio 应用直接在浏览器中运行,无需服务端基础设施。
推荐理由:Gradio 应用可以完全跑在浏览器里,不用再为演示页养一台服务器,代价是首次加载要等 5-15 秒。
Hugging Face 为 PRO 订阅用户推出 Inference for PROs,提供 Llama 3 Instruct 8B/70B、Mixtral 8x7B Instruct。
推荐理由:Hugging Face PRO 新增一批托管模型 API 与更高限流,想省掉自建推理的可以先拿它做原型。
Hugging Face 发布 Würstchen,一种文本条件扩散模型,其文本条件部分在高度压缩的潜空间中工作,实现 42x 空间压缩,推理比 Stable Diffusion XL 更快且显存占用更低。
推荐理由:Würstchen 以 42x 空间压缩把文生图推理显存和训练成本压到 SDXL 之下,显存吃紧的可以换它跑 1024 到 1536 分辨率。
Hugging Face 在 TRL 库中上线 Direct Preference Optimization(DPO)训练器,用二元交叉熵损失直接优化偏好数据,省去 RLHF 中的奖励模型训练和 RL 优化两步。
推荐理由:TRL 里新增 DPO 训练器,附 Llama 2 7B 的 QLoRA 微调完整代码,想省掉奖励模型和 RL 环节的可以直接照跑。
Hugging Face 发布 swift-transformers,一个开发中的 Swift 包,为 Swift 开发者提供类似 transformers 的 API,专注文本生成,并支持从 Hub 下载模型与 tokenizer 配置。
推荐理由:想在 iOS/Mac 应用里跑本地 LLM 的 Swift 开发者,可以直接用这套 alpha 工具链和已转换好的 Llama 2、Falcon 模型起步。
Segmind 开源了压缩版 Stable Diffusion 模型 SD-Small 和 SD-Tiny 的权重与知识蒸馏训练代码,两者参数量分别比基础模型少 35% 和 55%,推理速度最高快 100%。
推荐理由:Segmind 开源了 SD-Small 与 SD-Tiny 的权重和蒸馏代码,参数少 35% 和 55%,想在本地跑图或做 LoRA 微调的可以省下算力。
Vercel 发布开源 AI SDK,一个用于在 JavaScript 和 TypeScript 中构建对话、流式和聊天界面的库,支持 React/Next.js、Svelte/SvelteKit,Nuxt/Vue 支持即将推出。
推荐理由:Vercel 开源了 AI SDK,用 React/Svelte hooks 几行代码就能接 OpenAI、LangChain 和 Hugging Face 做流式对话界面。
Hugging Face 发布博客,介绍通过 bitsandbytes、4-bit 量化与 QLoRA 让大语言模型更易获取。原文正文抓取失败,仅标题可用。
Hugging Face 发布 Evaluation on the Hub,由 AutoTrain 驱动,可在 Hub 上对任意模型、任意数据集做评测,无需写一行代码。
推荐理由:不用写代码就能在 Hub 上给任意模型跑任意数据集的评测,做模型选型或复现论文结果的可以直接用。
Hugging Face 介绍如何用 Accelerate 在不改代码的情况下启用 PyTorch FullyShardedDataParallel(FSDP),在 2 张 24GB NVIDIA Titan RTX 上对 GPT-2 Large(762M)和 GPT-2 XL(1.5B)做因果语言建模训练。
推荐理由:用 Accelerate 不改代码就能跑 PyTorch FSDP,显存不够的可以照表选分片与 CPU offload 配置。