Tiktokenizer（dqbd/tiktokenizer）许可原文
================================================================================

原作仓库：https://github.com/dqbd/tiktokenizer
分支 master，commit d71e128430579078c9342b9268073356cc751787
线上版：https://tiktokenizer.vercel.app/
作者：Tat Dat Duong（dqbd）

许可：MIT，无任何例外条款（仓库 LICENSE 文件与登记表一致）。

本站镜像的改动（详见 tiktokenizer/BUILD.md，MIT 允许修改，改动在此留档）：
  · 去掉 @vercel/analytics（会向 vitals.vercel-insights.com 上报）与空的 tRPC 路由、
    src/pages/api/ 下的服务端接口：纯静态镜像不需要，且必须零外链。
  · 分词器清单里去掉 4 个：meta-llama/Meta-Llama-3-8B、meta-llama/Meta-Llama-3-70B、
    google/gemma-7b（HuggingFace gated 仓库，构建期必定 401）、openai/whisper-tiny
    （在本页对任何输入都返回空切分）；OpenAI 侧去掉 text-embedding-3-small / -3-large
    （上游代码对这两个直接抛错）。
  · 「常用」一栏重排为 Qwen / DeepSeek-R1 / gpt-4o / o200k_base / cl100k_base。
  · 对话编辑器的默认系统消息与输入框占位符改为中文。
  · 改为静态导出并挂到 /tiktokenizer/ 路径下；首页改为 ssr:false 动态引入。

--------------------------------------------------------------------------------
随镜像分发的第三方数据：8 个开源模型的分词器文件
--------------------------------------------------------------------------------

产物 site/hf/ 下是构建期从 HuggingFace 下载的 tokenizer.json 与 tokenizer_config.json，
它们不属于本仓库，各自跟随原模型的许可：

  Qwen/Qwen2.5-72B            Qwen License（阿里巴巴）
  deepseek-ai/DeepSeek-R1     MIT
  01-ai/Yi-6B                 Apache-2.0（Yi 系列模型许可）
  microsoft/phi-2             MIT
  codellama/CodeLlama-7b-hf   Llama 2 Community License
  codellama/CodeLlama-70b-hf  Llama 2 Community License
  tiiuae/falcon-7b            Apache-2.0

⚠ 以上许可名称按各模型仓库 README 记录，随镜像分发的只是分词器词表与配置（不含模型权重）。
若要对外发布，请主会话按各模型当期的许可条款再核一遍。

--------------------------------------------------------------------------------
以下是 LICENSE 文件原文（MIT）
--------------------------------------------------------------------------------

MIT License

Copyright (c) 2023 Tat Dat Duong

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.