大模型基础概念(适合客户端工程师的轻量入门)
下面内容专为客户端工程师写,不讲晦涩的数学,而是告诉你:
👉 它是什么
👉 为什么重要
👉 你在实际 AI 应用中怎么用
Token / Context / Prompt / System Prompt
1. Token 是什么?
Token 是模型处理文本的最小单位,可以是字、词或词片段。
GPT 类模型:英文按词片段、中文按字切分
Token ≠ 字符
模型所有计算都按 token 进行
📌 为什么 iOS 工程师必须懂 Token?
调用 API 时会计费(按 token)
上下文长度(context window)限制以 token 计
多轮对话需要控制 token 数量,否则会 “爆 context”
例子:
“我喜欢 iOS 开发”
→ Token 可能被切成:
[“我”, “喜欢”, “i”, “OS”, “开发”]
