如何用 Neosync 在几秒内创建带匿名化生产数据的预览环境
Neon 数据库分支可快速复制数据库用于非生产环境,但企业常面临 PII 匿名化的隐私障碍。开源工具 Neosync 能跨分支对数据做匿名化处理,帮助开发者在几秒内创建带匿名化生产数据的预览环境。
Neon 数据库分支可快速复制数据库用于非生产环境,但企业常面临 PII 匿名化的隐私障碍。开源工具 Neosync 能跨分支对数据做匿名化处理,帮助开发者在几秒内创建带匿名化生产数据的预览环境。
FerretDB 是开源文档数据库,可为 Postgres、SQLite 等后端加上 MongoDB 兼容,开发者可用相同的 MongoDB 语法和命令访问。教程演示用 Docker 本地运行 FerretDB,通过 mongosh 和 MongoDB Node.js 客户端连接,并部署到 Fly.io 用于生产环境。
Supabase 将全部客户端库统一到 v2 版本号,Swift、Kotlin、C#、Python 现已稳定,并新增 React Native 与 Expo 支持。Flutter v2 侧重稳定性与开发体验,查询和 Realtime 增加类型安全,初始化时间缩短、包体积减小;supabase-js 新增表与枚举简写、QueryResult/QueryData 辅助类型及表关系类型推导。
Supabase 更新了 Postgres Language Server 的 Parser 进展,选择基于 libpg_query 而非自研解析器来解析 SQL。团队通过 scan API 完成 tokenization,并借助 libpg_query 导出的 protobuf 定义处理 AST 节点,以应对 Postgres 复杂且不断演进的语法。
Hugging Face Transformers 现已支持在 AMD Instinct GPU 上无需修改代码即可运行全部模型和任务,并原生集成 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速工具。
Supabase 发布 @supabase/ssr,用 cookie 存储用户会话,并更新 create-next-app 模板以兼容 Next.js 14。pgvector 在成本与查询吞吐上优于 Pinecone 且不牺牲准确率,同时 Supabase CLI 新增 Storage bucket 管理命令。
Hugging Face 发布教程,介绍如何基于自家 GitHub 公开仓库代码微调代码模型,做出名为 HugCoder 的个人 Copilot。数据采集上,作者用 Python 多进程并行克隆仓库并过滤非代码文件,最终数据集取 transformers、diffusers、peft 等 star 数最高的 10 个 Hugging Face 公开仓库。
推荐理由:想用自家代码库训代码补全模型的,这篇给了从抓取、QLoRA 微调到本地 MLC 部署的完整流程和成本数字。
Hugging Face 发布 @gradio/lite,一个基于 Pyodide 的 JavaScript 库,让 Gradio 应用直接在浏览器中运行,无需服务端基础设施。
推荐理由:Gradio 应用可以完全跑在浏览器里,不用再为演示页养一台服务器,代价是首次加载要等 5-15 秒。
Hugging Face 发布 Würstchen,一种文本条件扩散模型,其文本条件部分在高度压缩的潜空间中工作,实现 42x 空间压缩,推理比 Stable Diffusion XL 更快且显存占用更低。
推荐理由:Würstchen 以 42x 空间压缩把文生图推理显存和训练成本压到 SDXL 之下,显存吃紧的可以换它跑 1024 到 1536 分辨率。
Hugging Face 发布 swift-transformers,一个开发中的 Swift 包,为 Swift 开发者提供类似 transformers 的 API,专注文本生成,并支持从 Hub 下载模型与 tokenizer 配置。
推荐理由:想在 iOS/Mac 应用里跑本地 LLM 的 Swift 开发者,可以直接用这套 alpha 工具链和已转换好的 Llama 2、Falcon 模型起步。
Segmind 开源了压缩版 Stable Diffusion 模型 SD-Small 和 SD-Tiny 的权重与知识蒸馏训练代码,两者参数量分别比基础模型少 35% 和 55%,推理速度最高快 100%。
推荐理由:Segmind 开源了 SD-Small 与 SD-Tiny 的权重和蒸馏代码,参数少 35% 和 55%,想在本地跑图或做 LoRA 微调的可以省下算力。
Hugging Face 与 Panel 合作,在 Hugging Face Spaces 中集成了 Panel 模板,方便开发者构建并部署 Panel 应用。Panel 是开源 Python 库,支持 Matplotlib、Plotly、Bokeh 等绘图库,可构建仪表盘和多页交互应用,并已支持 Pyodide 与 WebAssembly 在浏览器中运行。
Vercel 发布开源 AI SDK,一个用于在 JavaScript 和 TypeScript 中构建对话、流式和聊天界面的库,支持 React/Next.js、Svelte/SvelteKit,Nuxt/Vue 支持即将推出。
推荐理由:Vercel 开源了 AI SDK,用 React/Svelte hooks 几行代码就能接 OpenAI、LangChain 和 Hugging Face 做流式对话界面。
Supabase 发布面向 Postgres 的开源向量工具包 Supabase Vector,用于大规模存储、索引和查询向量嵌入,并推出可加密存储密钥的 Vault 扩展。GitHub Star 数突破 5 万,Auth 新增 Turnstile 验证码支持,Edge Functions 支持 CLI 部署及自定义域名,Storage 图片转换结束 Beta。
Supabase 发布 Python 库 Vecs,用于在 Postgres 数据库里通过 pgvector 扩展管理 embedding,支持建表与索引、按 cosine distance、l2 distance 和 max inner dot product 查询向量,以及基于自定义 metadata 过滤。
推荐理由:Supabase 把 pgvector 封装成 5 行代码就能用的 Python 客户端,做向量检索的可以少写一层 SQL。
Supabase 发布 2023 年 4 月 Beta 更新,开源分析流工具 Logflare,用户可自托管日志基础设施。Edge Functions 现可自托管并在本地开发中运行,Storage 新增断点续传、质量过滤、Next.js 与 WebP 支持。Auth 方面引入 SAML 2.0 SSO、PKCE 和 iOS 的 Sign in with Apple,Studio 也迎来大幅升级。
Supabase 公布 Launch Week 7 社区亮点,过去 3 个月新增 AWS RDS、Clickhouse、LangChain、Vercel + OpenAI、Doppler、Redwood 等合作伙伴与集成。
开源 BFF 框架 WunderGraph 推出 Neon 集成。WunderGraph 支持将多个 API 组合成统一接口,并生成包含身份验证和文件上传的类型安全 API 客户端。
Supabase 开源了 Edge Runtime,用于自托管 Deno Edge Functions,采用 MIT 许可、用 Rust 编写,基于 Deno Runtime 1.32+,现有 Edge Functions 无需改一行代码即可运行。
推荐理由:Supabase 把 Edge Functions 运行时开源,想自托管 Deno 函数的可以按 Fly.io 示例先跑通再决定是否迁移。
Supabase 发布 Supabase Logs,面向自托管用户和 CLI 本地开发,其日志服务 Logflare 已从 BSL 许可证改为 Apache 2.0。
推荐理由:Supabase 把日志服务 Logflare 以 Apache 2.0 开源并支持自托管,想省掉第三方日志分析费用的可以自己跑一套。
Mastodon 是一个开源的去中心化社交网络,本指南介绍如何自托管自己的 Mastodon 实例。如果不想处理技术细节,也可以选择专门的 Mastodon 托管服务商。
Supabase 10 月正式发布 supabase-js V2 和 flutter-supabase V1 两个 SDK 新版本,并宣布 Launch Week 6 将于 12 月 12-16 日举行。Functions 新增支持 GET 等 HTTP 请求方式,supabase-py 也加入 functions 支持,同时上线基于 pgTAP 和 pg_prove 的数据库测试框架。
Supabase 发文对比 Postgres 全文搜索(FTS)与 SQLite FTS、MeiliSearch、OpenSearch、Typesense 等新一代开源搜索引擎。
Vercel 推出开源库 @vercel/og,用 HTML 和 CSS 定义并生成动态 Open Graph 社交卡片图,无需无头浏览器,可在 Vercel Edge Functions 中运行,目前处于公开测试。
推荐理由:用 Chromium 截图生成社交卡片的方案可以换成 @vercel/og,冷启动从约 4 秒降到接近即时,已在公开测试。
Supabase 9 月集中清理积压,关闭超过 250 个 issue 和 50 个 Pull Request,并在 Product Hunt 上线了预构建 React 认证组件 Auth UI。
Supabase 与 Snaplet 开源了 postgres-wasm,一个在浏览器内运行的 PostgreSQL 服务器,支持状态持久化到浏览器、从 pg_dump 恢复以及从远程数据库做逻辑复制。
Supabase 发布 8 月 Beta 更新,Supabase CLI 升级至 v1.0 并支持生成 TypeScript 类型,同时推出 Management API Beta,可对接 Zapier、Terraform、Pulumi 等集成。
Supabase 以社区日收官 Launch Week 5,将周一至周四留给重磅发布,周五集中展示社区贡献与“one more thing”更新。本次发布包括 PostgreSQL 的 JSON Schema 校验扩展 pg_jsonschema 和 PostgREST v10(新增 EXPLAIN 与改进的关系检测)。
Supabase 在 3 月更新中上线 Edge Functions,支持部署 JavaScript 与 TypeScript 函数,可本地开发测试、关联项目并秒级部署到边缘。
Supabase 宣布 GraphQL 支持正式可用(general availability),通过开源 PostgreSQL 扩展 pg_graphql 实现,可在 SQL 内或通过 HTTP 端点 https://<project_ref>.supabase.co/graphql/v1 查询已有 PostgreSQL 数据库。
推荐理由:Supabase 把 GraphQL 通过开源扩展 pg_graphql 正式开放,用 Postgres 权限和 RLS 直接管鉴权,自建后端可以少写一层解析服务。
Supabase 社区日公布 PostgREST v10 预发布版,重点提升可用性,支持用箭头操作符直接访问复合类型字段和数组元素,并改进错误信息格式与 EMFILE 恢复能力。
Supabase 将于 3 月 28 日至 4 月 1 日举办 Launch Week 4,每天发布一项更新:Community Day 开场,随后依次推出 Supabase GraphQL、Supabase Enterprise 和 Edge Functions,周五保留一个秘密发布。活动结束后将举办为期 10 天的线上 Hackathon,每个提交项目由合作方种一棵树。
Supabase 发布一套 150 行 SQL 的 Postgres 审计方案,用 JSONB 单表存储所有表的增删改历史,通过 audit.enable_tracking('public.members') 一行开启追踪,并用 BRIN 索引 ts、btree 索引 table_oid 和 record_id 支撑按时间范围和单行历史的快速查询。
推荐理由:用 150 行 SQL 给 Postgres 加审计表,写入低于每秒 1000 次时开销可忽略,可直接照抄或装扩展。
Vercel 旗下 Turborepo 是一款面向 JavaScript 和 TypeScript 代码库的高性能构建系统,提供零配置远程缓存和快速增量构建,把大型工程团队的开发工作流带给所有开发者。它让多项目代码库的包更新、协作调试和本地开发更简单,Makeswift 称其显著提升开发效率,Stately.ai 四人团队自采用以来节省了 67 小时 CI 时间。
Supabase 在 2021 年 12 月的 Beta 更新中为所有 Postgres 实例新增 pg_sodium 扩展,可在 Postgres 函数和查询中直接完成加密、解密、哈希与加密签名,并从 Dashboard 的 Database > Extensions 标签页启用。
Supabase 在 11 月完成第三次 Launch Week,并开源了 Dashboard 代码、将其纳入 Self-Hosting。平台还收购了 Logflare,在 Dashboard 中提供可搜索的 API 与数据库日志,并让 Realtime 支持行级安全策略。
Supabase 开源了 pg_graphql,一个原生 PostgreSQL 扩展,把 GraphQL 的 schema 生成、查询解析和 resolver 全部放在数据库服务器内,不需要额外服务。
推荐理由:Supabase 把 GraphQL 能力做成 PostgreSQL 扩展开源,自托管项目可以省掉额外进程和内存开销。
Supabase 开源了原生 PostgreSQL 扩展 pg_graphql,可在数据库服务器内完成 GraphQL 的 schema 生成、查询解析与 resolver,无需外部服务。
Supabase 宣布收购日志摄取平台 Logflare,Logflare 创始人 Chase Granberry 一并加入。Supabase 计划未来几周推出新的 Dashboard 日志功能,让开发者用 SQL 查询日志,并保留 Logflare 现有的 Vercel 和 Cloudflare 集成。现有 Logflare 用户将在未来几个月内迁移至 Supabase,价格档位保持不变。
Supabase 发布 Supabase Studio,把平台上使用的 Dashboard 开源,供本地开发和自托管使用。
推荐理由:Supabase 把平台同款 Dashboard 前端开源,自托管和本地开发可以直接用同一套代码管理数据库。