从用户行为到数据：数据采集全景解析
本文为读者系统讲解了数据采集的核心原理、埋点技术、工具、组织建设等方面知识。文章探究了采集的整个过程，包括后端交互采集方式、用户行为采集方式（即埋点技术），以及数据采集中的工具、团队组织建设等多方面内容，通过阅读本篇文章，希望你对数据采集有更清晰的认知和了解。
数据采集是数据体系建设的最上游，是非常重要的一个环节，除了专业的数据人员，人们普遍对数据采集的认知度不高。
如果你提起埋点，应该很多人都熟悉它。它应该也是绝大部分人对数据采集的认知了。数据上报其实是一个系统性工程，它涉及了工具、团队、团队协同、标准、流程等多方面的内容，其中任何一个部分出现问题都有可能让上报过程变得复杂，下游数据出现问题的概率增高。
(资料图片仅供参考)
本文系统的讲解了数据采集的核心原理是什么，以及工具、组织改如何建设，希望能让你对数据采集有一个清晰的认知和了解。
一、数据采集的整个过程
我最早接触的数据采集是从业务的数据库中COPY各种表到数据仓库中，就是从一个库中的一些表以各种形式拷贝到另一个库中再以各种形式存储下来的过程。这是一个后端交互的采集方式。
后来逐步了解到，原来还可以去采集用户的行为，名词叫埋点。采集用户的行为主要目的是为了以数据的视角观察用户是怎么在你的产品里“活动”的，为了帮助设计者了解设计的缺陷，优化交互设计，提高产品的体验。
数据采集中埋点的概念绝大多人都有听说，但基本上是停留在听说阶段。知道要埋点，反正埋点了就能有数据，然后就可以分析了。这么理解没问题，对于使用者本身，就足够了。
直到真正开始做数据采集这个工作时，慢慢了解到数据采集是个比较复杂的事情，它涉及众多角色，涉及繁长的流程，和建设指标一样，是个既简单而又复杂的的工程。
二、从行为到指标，数据是怎么来的
1. 用户行为动作的抽象过程应用程序的出现是为了满足用户的各种需要。例如网上购物、看视频、玩游戏、社交等场景，所有的场景活动都会有用户在应用上的各种行为操作。
下图是京东移动端的首页，京东的核心场景是购物，用户在应用上浏览商品，挑选，购买。用户在京东上的所有的操作行为都可以归类为“动作”。
用户和应用程序的交互，不像现实生活中的“动作”那么丰富，例如走路、开门、跑、跳，这些实际的物理动作在应用程序范围内是不会发生的。人在应用程序的动作会受限于使用载体本身（手机、电脑、电视..）的人机交互，如早期的手机用按键，控制电视需要用遥控器，psxbox等游戏机用手柄等。
人机交互动作更多是像登录、浏览、点击等动作，用户在应用程序的操作，就是这些实际的物理操作，不会囊括太多现实中的其他物理动作。
例如“扔手机”这个动作，没有和手机发生实际的交互，只是在现实中进行了物理的动作，该动作就不会让手机本身“知道”并记录下来。
2. 从动作到日志的交互过程既然动作被限定在人机交互这个范围内，记录用户行为就有规律可循。识别用户的动作，并把它记录下来是数据采集的核心目标。现在以京东商城购物为例，看看从动作发生到数据记录的过程是什么。
下图是京东商城手机端的首页，我们现在准备记录我的两个2个动作：
我的两个动作是浏览和点击，但动作的实际发生是要作用于具体的实体对象的，也就是“我对谁做了什么”：我点击了哪个实体，我浏览了哪个实体。
通常来说，用户在应用上的动作（谁对什么做了哪些动作），统一归纳理解为“事件”，可以理解为，发生了一件什么事。
事件的基本要素可以用这四点来描述：一个用户在某个时间点、某个地方，对谁做了什么什么动作。
总结归纳一个事件需要包括的四个要素：谁、什么时间、对谁、做了什么动作。
定义了“事件”，应用程序就需要在动作实际发生时，把这个事件以数据形式记录下来。
在技术上，通常以记录日志的形式表现出来。也就是说，当我“点击”了京东家电家居的按钮时，应用会把我这个动作存储成一条数据：
关键词：
相关阅读
-
06-17
-
06-17
-
06-17
-
06-17
-
06-16
推荐阅读
-
-
银鹏控股公司：业务交流促提升互学互鉴共进步|世
3月2日，银鹏控股公司董事长刘懿婷带队前往中粮集团期货公司进行业务学习和交流。中粮期货公司从业多年、具有丰富实战经验的风险管理专家现场更多
2023-03-07 17:52:41
-
-
我国首个万吨级钠离子电池材料项目在山西综改区开
山西晚报讯（记者温丽芳通讯员张晓茹）日前，总投资约11亿元的山西华钠铜能（碳能）科技有限责任公司万吨级钠离子电池正（负）极材料项目在山更多
2023-03-07 11:51:14
-
-
建行阳江市分行：践行金融惠民理念-全球关注
2月24日，随着客户办妥抵押登记手续并成功放款，标志着阳江市建行“带押过户”业务取得历史性突破。根据中国人民银行发布《关于鼓励推广二手房更多
2023-03-07 11:53:21
-
-
焦点简讯:证监会同意三超新材向特定对象发行股票
中证网讯（记者昝秀丽）证监会网站3月6日消息，证监会发布关于同意南京三超新材料股份有限公司向特定对象发行股票注册的批复。【来源：中国证更多
2023-03-07 09:57:39
-
-
美股航空股6日全线走低
中证网讯（记者赵中昊）当地时间周一（3月6日），美股航空股全线走低。据wind数据，截至收盘，波音跌1 49%，美国航空跌1 47%，达美航空跌1%，更多
2023-03-07 09:43:44
-
-
世界热资讯！晋钢控股集团荣登2022山西省品牌十强
近日，“品牌强国（龙城）论坛”在太原举行，发布“2022中国上市公司品牌500强”以及“2022山西省品牌100强”。晋钢控股集团以218 9亿元的品牌更多
2023-03-06 17:38:52
-
-
手绘报告：2023预期目标
【来源：中国政府网】声明：转载此文是出于传递更多信息之目的，若有来源标注错误或侵犯了您的合法权益，请作者持权属证明发至邮箱newmedia@xx更多
2023-03-06 16:46:31
-
-
惠州首笔数字人民币缴纳税费业务成功落地
3月1日，TCL科技集团财务有限公司拿到了全市第一张使用数字人民币账户缴纳税款和非税收入的完税凭证，标志着惠州市首笔数字人民币缴纳税费业务更多
2023-03-06 11:50:50
-
理财
-
-
- 丰田汽车ADR(TM)周五(6月16日)收跌2 28%，使得本周累计涨幅收窄至10 57
-
- 首套房公积金利率下调原来贷款也下调吗首套房公积金利率下调原来...
-
- 政府回购商品房意味着什么政府收购商品房的首要目的是稳定市场。...
-
- 把自己房子卖了再买算首套房吗买过一套房卖了再买算首套房。简单...
-
- 买房交首付注意事项有哪些1、核实开发商五证。在交首付时，需要先...
-
- 房屋契税征收比例契税税率的缴纳一般分为以下几种情况：1、面积小...
-
- 房山区住建委近日发布《房山区2022年第二批毕业大学生对接保障性...
