Neon Blog· Stas Kelvich·· 2023-03-15AI 评分42
Neon 发布 pg_tiktoken：面向 Postgres 的快速 BPE 分词扩展
Announcing pg_tiktoken: A Postgres Extension for Fast BPE Tokenization
AI 导读
Neon 发布 Postgres 扩展 pg_tiktoken，用 BPE（字节对编码）算法提供快速分词，是对 OpenAI tokenizer 的封装。该扩展可在 Neon 上使用，主打速度与性能。
来源：Neon Blog · neon.com