No english version yet, please read this doc with ChatGPT or other translation tools.
本文档用于解释 NextChat 的部分功能介绍和设计原则。
面具 = 多个预设提示词 + 模型设置 + 对话设置。
其中预设提示词(Contextual Prompts)一般用于 In-Context Learning,用于让 ChatGPT 生成更加符合要求的输出,也可以增加系统约束或者输入有限的额外知识。
模型设置则顾名思义,使用此面具创建的对话都会默认使用对应的模型参数。
对话设置是与对话体验相关的一系列设置,我们会在下方的章节中依次介绍。
目前仅能够通过编辑源代码的方式添加预设面具,请根据需要编辑 mask 目录下对应语言的文件即可。
编辑步骤如下:
- 在 NextChat 中配置好一个面具;
- 使用面具编辑页面的下载按钮,将面具保存为 JSON 格式;
- 让 ChatGPT 帮你将 json 文件格式化为对应的 ts 代码;
- 放入对应的 .ts 文件。
后续会增加使用旁加载的方式加载面具。
在默认状态下,将鼠标移动到按钮上,即可查看按钮的文字说明,我们依次介绍:
- 对话设置:当前对话的设置,它与全局设置的关系,请查看下一小节的说明;
- 颜色主题:点击即可在自动、暗黑、浅色之间轮换;
- 快捷指令:项目内置的快捷填充预设提示词,也可以在对话框中输入 / 进行搜索;
- 所有面具:进入面具页面;
- 清除聊天:插入一个清除标记,标记上方的聊天将不会发给 GPT,效果相当于清除了当前对话,当然,你也可以再次点击该按钮,可取消清除;
- 模型设置:更改当前对话的模型,注意,此按钮只会修改当前对话的模型,并不会修改全局默认模型。
目前有两处设置入口:
- 页面左下角的设置按钮,进入后是全局设置页;
- 对话框上方的设置按钮,进入后是对话设置页。
在新建对话后,该对话的设置默认与全局设置保持同步,修改全局设置,则新建对话的对话内设置也会被同步修改。
一旦用户手动更改过对话内设置,则对话内设置将与全局设置断开同步,此时更改全局设置,将不会对该对话生效。
如果想恢复两者的同步关系,可以将“对话内设置 -> 使用全局设置”选项勾选。
点开对话框上方的按钮,进入对话内设置,内容从上到下依次为:
- 预设提示词列表:可以增加、删除、排序预设提示词
- 角色头像:顾名思义
- 角色名称:顾名思义
- 隐藏预设对话:隐藏后,预设提示词不会出现在聊天界面
- 使用全局设置:用于表示当前对话是否使用全局对话设置
- 模型设置选项:剩余的选项与全局设置选项含义一致,见下一小节
- model / temperature / top_p / max_tokens / presence_penalty / frequency_penalty 均为 ChatGPT 的设置参数,详情请查阅 OpenAI 官方文档,再次不再赘述;
- 注入系统级提示信息、用户输入预处理:详情请看 #2144
- 附带历史消息数:用户每次输入消息并发送时,所携带的最近 n 条消息数量;
- 历史消息长度压缩阈值:当已经产生的聊天字数达到该数值以后,则自动触发历史摘要功能;
- 历史摘要:是否启用历史摘要功能。
历史摘要功能,也是历史消息压缩功能,是保证长对话场景下保持历史记忆的关键,合理使用该功能可以在不丢失历史话题信息的情况下,节省所使用的 token。
由于 ChatGPT API 的长度限制,我们以 3.5 模型为例,它只能接受小于 4096 tokens 的对话消息,一旦超出这个数值,就会报错。
同时为了让 ChatGPT 理解我们对话的上下文,往往会携带多条历史消息来提供上下文信息,而当对话进行一段时间之后,很容易就会触发长度限制。
为了解决此问题,我们增加了历史记录压缩功能,假设阈值为 1000 字符,那么每次用户产生的聊天记录超过 1000 字符时,都会将没有被总结过的消息,发送给 ChatGPT,让其产生一个 100 字所有的摘要。
这样,历史信息就从 1000 字压缩到了 100 字,这是一种有损压缩,但已能满足大多数使用场景。
历史摘要可能会影响 ChatGPT 的对话质量,所以如果对话场景是翻译、信息提取等一次性对话场景,请直接关闭历史摘要功能,并将历史消息数设置为 0。
当用户在对话框输入了一条消息后,发送给 ChatGPT 的消息,包含以下几个部分:
- 系统级提示词:用于尽可能贴近 ChatGPT 官方 WebUI 的使用体验,可在设置中关闭此信息;
- 历史摘要:作为长期记忆,提供长久但模糊的上下文信息;
- 预设提示词:当前对话内设置的预设提示词,用于 In-Context Learning 或者注入系统级限制;
- 最近 n 条对话记录:作为短期记忆,提供短暂但精确的上下文信息;
- 用户当前输入的消息。