一、 点击流中的非结构化文本数据都有哪些？

首先来定性什么是非结构化文本数据，这里指的是点击流原始数据中以文字形式展现的数据，包括原始LOG日志以及已经被结构化入库中的部分数据，比如Adobe Analytics的Data Feed,Webtrekk中的Raw Data.当然，有些数据虽然是文本或字符串的形式，但并不是真正意义上的非结构化，比如浏览器的类型信息、推荐来源，虽然取值为文本，但取值都有规律，这些数据在数据库中更多的是作为外键(FK)关联到维度表，因此都不算严格意义上的非结构化数据。 真正的非结构化文本数据，包括：

搜索词：我们永远无法准确定义用户的搜索词都有哪些;

完整URL地址：尤其是含有特定监测Tag的地址;

特定监测标签：通常鉴于以URL Tag形式进行监测的情形;

页面名称：名称的规范性取决于系统配置信息;

用户自定义标签：比如用户对自身的评价标签--伟岸、高富帅等;

文章特定信息：如文章摘要、关键字等，跟用户一样，文章信息也是因文章而已;

用户评论、咨询内容：绝对的非结构化段落;

唯一设备号：如IMEI、MAC等(这部分通常会作为关联主键和唯一识别标示，不会作为规则提取的字段);

这些信息的特点是：①取值通常是文本或字符串，②长度不一致，单值结果的长度可能是1个字节甚至是1000个字节不等，③无明确的值域范围。

二、 这些数据都是从哪来的？

这些数据通常都是用户自定义的，另外也包括由于系统产生或收集的非结构化数据本身。

自定义非结构化文本数据。这些信息通常都是在工具中通常都是自定义的维度获取，比如webtrends中的metea、Adobe Analytics中自定义Prop和eVar、UA中的Dimension等，如Adobe Analytics中的Prop的字段是以varchar(100)的格式定义的，这意味着如果需要收集数据的单个结果长度超过100个字节，结果将被截断;而eVar的字段格式与Prop相同，但程度更长，是255,所以从底层数据支持的角度考虑，如果在自定义维度时，在不考虑路径应用的情况下尽量使用eVar来定义。

系统获取的非结构化文本数据。比如通过Adobe分类规则生成器、处理规则或JS自动复制变量值的形式都会产生。

三、 非结构化文本数据的应用场景在哪？

通常情况下，非结构化的数据可以跟结构化的数据一样，作为分析的维度应用到各种报表或OLAP中;但这仅仅能发挥其一小部分作用，原因是只靠固定维度的常规分析难以挖掘非结构化数据中隐含的知识点，因此我们需要借用数据挖掘的相关技术。 以搜索词为例，站内搜索词基本上每个工具都会监测 ,但是搜索词的常规应用场景大多集中在以下几种：

对运营体系来讲，看下最近用户热搜了哪些词，哪些词有什么样的变化趋势，并结合转化效果来指导搜索词运营;

对采销商品体系来讲，挖掘下购买某些品类的用户通常会通过哪些词进行搜索，以此来提高在这些展现结果页的排名以获得更好的展示和点击，创造售卖机会;

对搜索产品开发而言，用户搜索后的结果数、排序功能、筛选等功能怎样，引发了用户的哪些连环反应，为产品功能优化提供参考;

对SEO和SEM来讲，站内的搜索词可以作为站外SEM选词、匹配规则调整和站内页面SEO优化的参考…

这些场景固然有用且实用，但其中有一个问题，除了SEO和SEM对于关键字的选择和拓展上，可以采用全量的方式应用以外，其他的业务体系都无法直接拿来复用。换句话说，SEO和SEM可以把所有关键字拿来用，但其他业务部门只能用到其中一部分，原因是大量关键词从单纯从字面上无法挖掘深层价值。 举个例子，比如家电采销需要过滤出某段时间家电相关搜索词，通过搜索某些关键词词根，然后用正则或模糊匹配来搜索结果并作进一步分析，但总有很大一部分次是业务无法提取的价值所在，比如：

“三星”和“note2”,没有经验的人是无法知晓二者是如何关的?

搜索“三星”的，你并不知道他想找的是三星手机还是三星电视;

我在一次访问中搜索了n多词，到底想找什么还是随便看看?

作为家电品类的目标客户，通常会搜索哪些词?

隐藏用户搜索词中的特定需求有哪些--比如超薄、红色还是商务特点?