标签：Tokenizer

herman 2天前 65浏览

花 3 个月用 AI 干掉 100 个程序员，这笔账，全世界都算错了。 今天上午，微信群里消息突然多了起来，我快速看了一眼，原来是最近，科技圈被一个“爽文”般的故事刷屏了。 故事的主角，描述的是一位独角兽公司的 CTO。在昆仑万维董事长...

herman 3个月前 (02-03) 361浏览

Skill 比 MCP 省 99% 的 Token，MCP 不是银弹，是 Token 黑洞。 昨天发的那篇文章，有网友提了一个问题，我觉得可以通过一篇文章来展开讲讲！ 所以，接下来，我们就一起来看看 Token、MCP、Skill 等技...

herman 4个月前 (01-14) 334浏览

昨天，就在昨天，DeepSeek 的 Github 上又更新了。新增了一个Engram仓库，这个仓库对应的项目 Engram 是 DeepSeek 针对 MoE 模型新增的一个模块。它让大模型从“死记硬背”转向更“聪明的查阅”，不仅性能超越同规模 ...

herman 8年前 (2018-12-12) 2913浏览

在 Lucene 中，不仅 TokenFilter 我们可以自定义，Analyzer 我们也可以自定义。本文介绍两个扩展 Analyzer 的例子，分别实现扩展停用词，实现字长过滤的功能。 自定义 Analyzer 自定义 Analy...

herman 8年前 (2018-12-12) 3124浏览

这一章也不算是什么新的内容了，前面我已经写过两篇关于 Analyzer 的内容了。它们分别是《深入理解 Lucene 的 Analyzer》、《详解 org.apache.lucene.analysis.Analyzer 使用教程》。这篇文章，我...

herman 8年前 (2018-12-10) 5861浏览

Analyzer 单词的意思就是分析，它是一个抽象类，在 Lucene 的 org.apache.lucene.analysis 包中。lucene-analyzers-common 包中提供了非常多的分析器。比如：StandardAnalyze...

herman 9年前 (2017-08-22) 2849浏览 0评论

索引是现代搜索引擎的核心，建立索引的过程就是把源数据处理成非常方便查询的索引文件的过程。为什么索引这么重要呢，试想你现在要在大量的文档中搜索含有某个关键词的文档，那么如果不建立索引的话你就需要把这些文档顺序的读入内存，然后检查这个文章中是不是含有...