中文分词算法：搜索需求太分散时先做聚合页还是详情页
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /5bcaf253775e.html
📄
中文分词算法：搜索需求太分散时先做聚合页还是详情页
答案取决于分词后暴露的是同一意图的多种说法，还是若干真正不同的意图。若多个查询切分后共享同一核心词且修饰差异只影响语气、地域或程度，聚合页通常更合适；若切分后核心词不同、各自对应独立决策阶段，详情页更稳妥。判断依据不是查询数量，而是分词结果的归并结构与搜索结果页的重合程度。
矛盾现象：样本里聚合有效，放大后却互相蚕食
用中文分词算法处理一小批搜索词时，常能看到大量词共享“价格”“怎么选”“推荐”这类后缀。把它们收进一个聚合页，样本阶段往往表现正常。但词量放大后，同一聚合页开始覆盖越来越多细分表达，部分长尾词对应的具体需求在页面上找不到落点，于是聚合页与详情页之间出现内部竞争。这不是分词本身出错，而是归并粒度过粗，把不同意图当成了同义表达。
要区分两种解释：一是需求确实同质，只是表达分散，聚合页是正确选择；二是分词把不同意图错误合并，表面同质、实际分流。两者在样本阶段表现相似，只有放大后才暴露差异。
用分词结果判断意图是否真的同质
把查询逐条切分后，观察核心词与修饰词的关系。可操作的判断方式是：
- 若切分后核心词一致，修饰词只是同义替换，且搜索结果页前几位高度重合，视为同一意图。
- 若核心词不同，或修饰词改变了决策阶段（如“是什么”与“哪家好”），视为不同意图。
- 若修饰词指向具体条件（地区、型号、场景），而聚合页无法为每个条件提供独立段落，倾向拆成详情页。
这里的关键动作是抽样比对搜索结果页：取若干代表性查询，看排名靠前的页面是否在用同一类内容满足它们。若结果页结构相近，聚合成立；若结果页各自回答不同问题，聚合会把用户带到错误落点。这个动作的结果直接决定下一步是合并还是拆分。
聚合页成立的条件与边界
聚合页适合以下前提同时满足：分词后核心意图唯一；各修饰词能在同一页面内用分段、筛选说明或对比表覆盖；搜索结果页对这批查询返回的内容类型一致。此时聚合页能集中权重，减少重复建设。
边界在于：一旦某个修饰词对应独立决策（例如需要单独的价格计算、单独的适用条件），聚合页就必须为它保留可锚定的段落，否则该词即使被切分识别，也无法在页面上获得对应内容。假设有十个查询共享“对比”这一核心词，其中三个涉及具体型号的兼容性——如果聚合页只写通用对比方法，这三个查询的意图就没有被真正满足，规模化后会表现为这些词带来的访问停留短、继续搜索比例高。这只是说明比较方法的假设例子，不代表真实项目数据。
详情页优先的情形与验证方式
当分词结果显示核心词分散、每个词对应不同问题或不同阶段时，先做详情页。判断证据是：搜索结果页对这批查询返回的页面主题各不相同；或同一查询下，聚合型页面并未占据主要位置。此时强行聚合，会让页面主题模糊，搜索引擎难以判断它究竟服务哪个意图。
验证方式可以这样安排：先为分词后意图最独立的两三个词各建一个详情页，观察它们是否各自获得与自身主题相关的查询。若这些页面稳定承接各自的分词簇，说明拆分成立，再继续扩展；若它们之间仍互相争抢同一批查询，说明意图归并过细，应回退合并。这个动作的结果决定了后续是继续拆还是回收。
把决定落到可执行的下一步
实际执行时，先完成一轮分词归并，输出两张清单：一张是共享核心词、修饰词可被同页覆盖的查询簇；一张是核心词独立、需要单独落点的查询簇。对第一张清单，建聚合页并为每个可区分条件保留独立段落或锚点；对第二张清单，按意图优先级逐个建详情页。每建一批，用搜索结果页重合度和页面承接的查询主题做一次复核，再决定下一批是继续聚合还是转向拆分。
这样做的目的不是追求某个固定结构，而是让分词结果与页面主题保持一致：分词识别出的意图，页面要能接得住；接不住的意图，就不应被合并进同一页。
