用 Astro、Vercel Edge Functions 和 Neon 自建分析系统
一份示例仓库展示了如何用 Astro 构建站点、部署到 Vercel,并结合 Vercel Edge Functions 与 Neon 实现自建分析。作者用同样方案运行自己的站点 paulie.dev,并说明如何用这些数据搭建仪表盘可视化。
一份示例仓库展示了如何用 Astro 构建站点、部署到 Vercel,并结合 Vercel Edge Functions 与 Neon 实现自建分析。作者用同样方案运行自己的站点 paulie.dev,并说明如何用这些数据搭建仪表盘可视化。
Supabase 分享了一种 Postgres 动态表分区方法,用于解决单表存储 5 亿条聊天消息后查询变慢的问题,可在不阻塞查询、不宕机的前提下创建分区并迁移存量数据。文章以模拟聊天应用为例,演示了从建表、生成数据到动态分区的完整流程,并指出大表会导致 SELECT、INSERT 变慢,以及 vacuum 难以完成、数据相关性下降等问题。
Neon 宣布停用 pg_embedding,转而支持 pgvector。pg_embedding 曾把 HNSW 索引引入 Postgres,让向量检索在 Postgres 中可扩展;随着 pgvector 0.5.0 加入 HNSW,Neon 认为让社区在两个向量检索扩展之间做选择已没有多少好处。
推荐理由:Neon 停用 pg_embedding 并建议迁到 pgvector 0.5.0,用该扩展的向量检索项目需要安排迁移。
Hugging Face 发布教程,演示非工程师如何零代码训练并部署 LLaMA 2 聊天机器人。流程分三步:在 Spaces 创建 AutoTrain Space,用 AutoTrain 对 Meta 的 Llama 2 7b 基础模型做指令微调(示例用 Alpaca 数据集,A10G Large 即可),再用 ChatUI 部署成可分享的聊天应用。
Resend 推出 Java SDK,版本 2.0.0,开发者可通过 Gradle 或 Maven 引入 com.resend:resend-java:2.0.0,在 JVM 上用 Java 发送邮件、创建域名和管理 API key。官方表示未来将支持 Kotlin 等 JVM 语言,并推出支持 Mono 和 Flux 的响应式版本。
Hugging Face 为 PRO 订阅用户推出 Inference for PROs,提供 Llama 3 Instruct 8B/70B、Mixtral 8x7B Instruct。
推荐理由:Hugging Face PRO 新增一批托管模型 API 与更高限流,想省掉自建推理的可以先拿它做原型。
Neon 博客解析了 pgvector 中向量搜索与 HNSW 索引的工作原理。向量嵌入封装文本语义,让 AI 模型判断文本间的语义相似度,而向量搜索负责从数据库中提取最相似的文本。文章围绕 HNSW 索引如何加速这一检索过程展开说明。
Neon 推出适用于 Vercel Edge Functions 的无服务器驱动,并演示了如何配合 Next.js 和免费的 Neon 无服务器 Postgres 数据库使用。作者创建了一个名为 Ping Thing 的演示项目来展示具体用法。
Rocket Money 将每月超 1 亿笔交易的商户识别从正则系统迁移到 Hugging Face Inference API,托管其 4000+ 类别的 BERT 分类模型。团队用三个月逐步放量并做最坏情况模拟压测,最终选定 Hugging Face,因其接入快、能动态扩缩容,且无需自建 MLOps 团队。
Neon 现已支持 Postgres 16,该版本带来多项性能与开发者体验改进,其中最受期待的是对 SQL/JSON 语法的扩展支持。
Hugging Face 梳理了在生产环境部署 LLM 的三类优化手段:8-bit 和 4-bit 低精度推理、Flash Attention 以及 Alibi、Rotary embeddings、MQA、GQA 等架构改进。
Neon 发布指南,介绍如何用其只读副本扩展 Prisma 应用。只读副本是主数据库的只读同步副本,可把读流量从主库卸载下来。指南涵盖只读副本的原理、在 Neon 中的工作方式,以及如何借此扩展 Prisma 应用。
Hugging Face 发布 Würstchen,一种文本条件扩散模型,其文本条件部分在高度压缩的潜空间中工作,实现 42x 空间压缩,推理比 Stable Diffusion XL 更快且显存占用更低。
推荐理由:Würstchen 以 42x 空间压缩把文生图推理显存和训练成本压到 SDXL 之下,显存吃紧的可以换它跑 1024 到 1536 分辨率。
Supabase 宣布新建数据库将默认搭载 pgvector v0.5.0,该版本新增 HNSW 索引,可用 CREATE INDEX ... USING hnsw (embedding vector_ip_ops) 在向量列上创建。
推荐理由:新库默认带 pgvector v0.5.0 的 HNSW 索引,做语义搜索的可以按文中参数重建索引换性能。
Resend 将全部 API Reference 文档集成进应用,用户在 Domains、Emails、API keys 等页面可直接查看相关方法,无需另开标签页。此次更新还修复了 SMTP 附件发送,以及 API 的主题、邮箱地址类型、冒号邮箱地址、base64 附件、中文字符、ASCII 邮箱地址校验和 tags 校验等问题。
Neon 发布教程,演示如何用 OpenAI 的 embedding、Postgres 扩展 pg_embedding 和 Neon 搭建语义搜索。此前其 AI 应用可提交创业点子并匹配 YCombinator 已投公司,在 Hacker News 和 Twitter 上获得 5,000+ 访问和 2,500+ 提交。
在 JavaScript 中解析 Postgres 的 JSON 数据时,大整数会因 JS 的 Number 精度限制而被静默截断,导致取到错误数值。Postgres 自 9.2 起提供原生 JSON 类型,但跨语言传输时需注意精度问题。
Resend 为每个 API key 新增了专属页面,可查看该 key 最近一次使用时间,并用不同颜色标识哪些 key 正在使用、哪些已闲置。若某个 API key 超过 30 天未被使用,Resend 会建议用户考虑删除以保证账号安全;活跃 key 则可查看总请求数并跳转到 Logs 页面查看明细。
这份指南介绍如何为每个 Qovery 预览环境创建对应的 Neon 分支,让开发者并行开发新功能而互不影响,并支持频繁的小版本发布。
Supabase 发布自研 Postgres 连接池 Supavisor,用 20 台 AWS EC2 实例压测到 1,003,200 个并发连接、20,000 QPS,单台 64 核实例可承载约 50 万连接。
推荐理由:Supabase 自研连接池 Supavisor 已全量上线,压测到 100 万并发连接,用 Postgres 的可以联系支持切换。
Supabase 为其 Integrations Marketplace 新增 OAuth2.0 应用支持,目前该市场上已有超过 60 个集成。首批合作伙伴包括 Cloudflare、Resend、Snaplet、Trigger.dev、Vercel 和 Windmill,用户可在数分钟内将低代码工具、DevTools、缓存、短信邮件服务等接入 Supabase 项目。
Supabase 推出新的 Vercel 集成,支持把多个 Vercel 项目连接到同一个 Supabase 项目,并自动管理环境变量与 Auth Redirect URIs。
推荐理由:Supabase 官方发布 Vercel 集成与 Next.js App Router 支持,用 Vercel 部署的开发者可以按新方式配置 cookie 鉴权和环境变量。
Resend 上线 Supabase 集成,用户可在 Integrations 页面按步骤把 Supabase 项目连接到 Resend。完成连接后,即可使用自己的域名发送邮件。
Supabase 发布 Studio 3.0,把 Supabase AI 直接集成进 SQL Editor,可识别编辑器中的 SQL 片段并按提示修改,改动以类似 Git diff 的视图呈现,可逐条接受或拒绝。
推荐理由:Supabase Studio 3.0 把 AI 写进 SQL 编辑器并支持 diff 接受或拒绝,用 Postgres 做后端的项目可以少写一部分 SQL。
Supabase 为本地开发体验发布一批新功能,包括 supabase inspect db 提供的 19 个调试命令、supabase db dump 备份迁移、supabase test 测试脚手架,以及本地 Dashboard 查看日志。
推荐理由:本地开发链路一次性补齐迁移、分支预览与可观测命令,用 Supabase CLI 的团队可以照着升级工作流。
Hugging Face 在 TRL 库中上线 Direct Preference Optimization(DPO)训练器,用二元交叉熵损失直接优化偏好数据,省去 RLHF 中的奖励模型训练和 RL 优化两步。
推荐理由:TRL 里新增 DPO 训练器,附 Llama 2 7B 的 QLoRA 微调完整代码,想省掉奖励模型和 RL 环节的可以直接照跑。
Hugging Face 发布 swift-transformers,一个开发中的 Swift 包,为 Swift 开发者提供类似 transformers 的 API,专注文本生成,并支持从 Hub 下载模型与 tokenizer 配置。
推荐理由:想在 iOS/Mac 应用里跑本地 LLM 的 Swift 开发者,可以直接用这套 alpha 工具链和已转换好的 Llama 2、Falcon 模型起步。
Resend 的 SMTP 服务使用 smtp.resend.com 作为主机,用户名固定为 resend,密码填自己的 API Key。SSL 连接用端口 465 或 2465,TLS 或未加密连接用 25、587 或 2587,官方推荐不确定时选 465。
Hugging Face 发布教程,介绍如何通过 Inference Endpoints 的自定义 handler 部署 facebook/musicgen-large 音乐生成模型。
Neon 为 Postgres 和 LangChain 的 pg_embedding 扩展加入磁盘 HNSW 索引。此前几周发布的 pg_embedding 已引入 HNSW 向量相似度搜索,官方称相比传统方式查询快 20 倍、准确率 99%。
Hugging Face 用机器学习为 Hub 上缺少语言元数据的数据集自动识别语言,并通过 librarian-bots 提交 PR 补全元数据。
Zama 展示了如何借助 Hugging Face transformers 库,用全同态加密(FHE)让 GPT2 的部分推理直接在加密数据上运行,从而同时保护用户数据隐私与模型 IP。
这份教程演示了如何用 OpenAI 开源模型 Shap-E 从文本生成 3D 模型,再经 Blender 的 Decimate 修改器减面、Dream Textures 插件生成无缝贴图,最终导出 FBX 并导入 Unity,做出 PS1 风格的低保真 3D 资产。流程共 7 步,需 Blender 3.1 或更高版本,并假设读者具备材质与 UV 映射等基础知识。
Segmind 开源了压缩版 Stable Diffusion 模型 SD-Small 和 SD-Tiny 的权重与知识蒸馏训练代码,两者参数量分别比基础模型少 35% 和 55%,推理速度最高快 100%。
推荐理由:Segmind 开源了 SD-Small 与 SD-Tiny 的权重和蒸馏代码,参数少 35% 和 55%,想在本地跑图或做 LoRA 微调的可以省下算力。
Neon 发布指南,介绍如何用 Neon 分支以编程方式把数据恢复到之前的某个状态。Neon 是全托管的 serverless Postgres,无需预先选定数据库规格,会自动分配资源。
Resend 在 Emails 页面新增邮件事件时间线视图,可查看每封邮件触发的送达、打开、链接点击、退信或被标记为垃圾邮件等事件。悬停每个事件可查看详情,例如退信会区分临时性还是永久性——临时退信意味着被收件方邮件服务器拒绝,但未来仍可能送达。
Neon 工程团队经过数月优化,大幅降低了空闲计算资源被激活时的冷启动时间。该文章解释了冷启动问题的成因,以及团队如何着手解决这一问题。
Supabase 发布 Flutter 身份验证入门教程,演示如何通过 Supabase SDK 的 signInWithIdToken 方法接入 Google 登录。教程使用 Flutter v3.10.5,需在 Google Cloud 获取 iOS、Android 和 Web 的 client ID 并注册到 Supabase,免费档位支持最多 50,000 月活用户。
Neon 针对 Prisma 用户推出多项开发者体验改进,包括减少冷启动、优化 Prisma Migrate 使用体验以及改善连接表现。这些改进是 Neon 过去几个月的工作成果,旨在让 Prisma 与 Neon 的配合更顺畅。
Supabase 用 ANN Benchmarks 方法在 dbpedia-entities-openai-1M 数据集(100 万条 1536 维 OpenAI embeddings)上测试 pgvector 0.4.0。
推荐理由:Supabase 用 1M OpenAI embeddings 实测 pgvector 0.4.0 的 QPS 与准确率,并给出 lists、probes 与预热的具体调参路径。