国内大模型 T1 —— Kimi，解析二百万上下文无压力
站长
· 阅读数 5
两位百万？怎么做到的？
真的能做到吗？
上下文的扩充有尽头吗？
在前面文章里提到了 RAG 技术，即 生成式检索增强，它能通过 API 调用，请求页面或读取文件，优化检索数据，缩小文本或标记梳理，同时保留必要信息；然后使用文本分割器，将文档转换为段落、代码块，确定每段落大小；接着进行语义索引、并存储在向量数据库；在回复用户生成的内容前，选择与用户初始请求语义相关的段落块，插入到提示中。
白话来说就是将上下文提示语分块、分析、加权重、插入到提示，那么：如果能无限扩充上下文长度，RAG 技术还有意义吗？
Kimi 背后原理，官网做出了解释：# Kimi Chat 公布“大海捞针”长文本压测结果
这里的“针”就是“大上下文提示语”的核心，我们需要提取的、解析的核心：
有几个有意思的数据：
1、GPT-4 Turbo（128K）在语料长度超过 72K 且句子（“针”）藏在文本头部的时候，准确率不佳。（这也是我们前面提到过的）
2、而Claude 2.1似乎在语料长度超过20K 之后就开始准确率不佳，而且句子（ 针）藏在语料靠前的位置时，准确率尤其差。
而 Kimi Chat 在“大海捞针”实验中的测试结果是这样的：
kimi 的测试结果好的让人意外！
那... kimi 究竟做对了什么？
官方也没明说，只是最后给了个这样的结论：
具体技术实现细节，背后是大量复杂的工程优化和算法创新设计，这也是 kimi 团队核心技术壁垒，不得而知。
内部成员的回复：
思考：
以后的大模型比拼什么？两点：
1、数据的精准性-各行业
2、计算能力、解析能力-这里的大文本上下文解析就算！
OK，以上便是本次分享，希望各位喜欢~ 欢迎点赞、收藏、评论 🤟 我是安东尼 🤠 人气技术博主 💥 坚持千日更文 ✍ 关注我，安东尼陪你一起度过漫长编程岁月