数据处理之搜索如何命中？

本文主要讲解了用户在搜索的时候，是怎么命中的，enjoy~

通过本文你可以了解到：

了解搜索过程的基本原理：如何根据关键字匹配内容，如何返回搜索结果，如何将结果展示给用户； 在搜索场景下更合理的划定搜索范围（输入内容命中哪些字段），提高用户搜索效率，提高数据搜索基线； 提高日常工作中搜索的效率，更快更准地搜到自己想要的东西。 用户搜索的过程：用户输入关键词，系统根据用户输入的内容筛选出系统认为用户感兴趣的信息，然后按照系统所设定的规则进行排序。整个过程可拆解为三步：分词、筛选、排序。

在了解分词前先看下搜索的存储原理：在系统词库和索引库之间建立关联，通过用户输入的关键词去匹配词库，然后拉取索引库内容展示给用户。

以在美食网站搜索“北京最大的火锅店”为例，索引库中内容为系统内所有店铺，每个店铺包含的字段有店名、位置、月销量、评论量、评分等等；词库中内容为系统内的词条，只要用户输入的内容能够匹配到词条，就可以快速找到词条对应的索引内容，无法匹配到词条时就没有返回结果。每个系统都有自己的词库，搜索的很多优化都是集中在词库的优化上。

一、分词 分词是对用户输入的信息进行解读，是自然语言处理的重要步骤。同机器学习原理一样，分词将非结构化的数据转化为结构化数据，结构化的数据就可以转化为数学问题了，解决数学问题正是计算机之所长。

1.1 分词的原因 搜索系统的词库无论如何优化、完善都是有限的，但用户的输入是没有限制的。那么如何把用户无限制的输入对应到有限的词库并返回结果呢？

这就需要引入一个新的概念——分词。简单说就是：系统在对用户输入的内容无法精确匹配时，会将内容进行切分，使切分后的词能够匹配到系统的词库。仍以上图为例，如果用户输入“北京最大的火锅店”，系统中并没有这个词，精确匹配的情况下没有任何结果，此时会将输入内容进行切分，于是

“北京最大的火锅店”——> “北京”、“最大”、“的”、“火锅店”。