《如何搭建企业埋点体系.docx》由会员分享，可在线阅读，更多相关《如何搭建企业埋点体系.docx（13页珍藏版）》请在金锄头文库上搜索。
1、如何搭建企业埋点体系今天，主要通过以下几个局部了解在一个中大型的公司里面如何去完 成一个数据平台，以数据采集体系平台的搭建这个完整流程，在一个小公 司中借用一些开源的工具以及第三方的SaaS的服务，能够进行一个简单 的行为分析平台的搭建。1、什么是用户行为数据及其重要性2、如何在公司里面去搭建采集体系3、如何规范这个埋点的业务4、我们常见的工具以其他人的产品有哪些一、行为数据及其重要性比方说今天中午11： 50的时候，在这个美团的首页进行了一个外卖按钮 的点击。那这个时候话美团公司它会记录到我中午十五十一点五十分在这个美 团APP的首页，点击了这个外卖的按钮，然后会传一条信息包含类似截图右侧
2、的格式数据就会发送给这个美团的服务器。某个用户在某个时间点在某个地方以 某种方式完成了某个具体的操作我今天中午11： 50在美团App首页 上点击了外卖按钮H 3t Bac皿, 4*r n回B-HnanH1287tHW 宅CR 火,distinct-id: ”1岫，type: track,event: click,properties: ($ip : 180.79.35.65, ,position: “外卖“， user_agentM: Mozilla/5.0, Hpage_name:首页”，Muri: ,KfiM *9*28858所以我们在这个不管是APP也好，还是比方说这个APP或者是我们
3、在网 页上面，我们在家里面B站上看这个PC端的视频，这些所有的这个行为话都 会被记录下来。这一些数据就是我们所说的行为数据。1.1基础名词解释基础名词解释埋点事件埋点事件用户行为过程和结果的记录，包含事件和属性。多维事件模型事件模型包括事件Event和用户User两个核心，使用Event记录用户在产品上 的各种行为，使用User记录用户的基础属性信息。二者可以分布进行分析也能贯穿起来进行关联分析。埋点SDK对于客户端App、网站、小程序通常我们会通过嵌入SDK的方式对数据进行采集用户行为分析在众多数据中大致可以划分为三类数据，业务库数据、服务端接口数据、用户行为数据。在移 动产品的迭代过程中非
4、常重视用户的产品使用体验，此时对行为数据和业务数据进行关联分析 分析的场景诉求就变得尤为强烈。这时就有了用户行为分析产品的出现，专门用于分析用户在端上行为。1.2行为数据常见的应用场景1、最简单的话我们会去做这个公司里面的产品迭代，然后功能模块使用分析。2、是说我们做了一个线上的活动，然后使用这一些数据来进行评估。3、使用用户的行为数据，去做用户画像4、根据这个用户的偏好去推荐广告这个是用户的行为数据，它常见的应用的场景这一块话，相信大家在公 司里面最常见的应该是第一个跟第二个就是我用这个数据去衡量上线的好 坏，这个是他的应用场景会有这一些。二、如何搭建一个埋点采集体系在整个过程中有三个重要的
5、因素资源人员流程规范需求收集埋点方案数据采集评审方案采集&验证上线使用业务需求查看业务指标评估产品效果指导业务迭代数据产品开发需求评估本钱、排期服务端接口采集算法推荐等数据分析输出看板数据明细会有各自的在埋点采集到应用过程中涉及到各个不同角色相互配合, 分工。从业务需求方开始。比方说市场运营产品开始提需求，数据产品根据产 品对这个业务同学这里的需求进行评审以后，梳理出这个用户的业务路径， 然后抽象出场景组件，完成这个指标体系的搭建。输出埋点的需求文档DRD 然后我们把这个文档交付给到开发。开发这里的话会把埋点需求文档跟产品技术文档一样，做一个需求的 可行性方案优先级一个评审这个埋点能不能做，这
6、个数据能不能采集，采集 采集的量有多大等等关于埋点需求文档展开一些细节讲讲件英又变名addT oShoppngcart加入的物车commoditylDID &| ffisubmitOrder提交订单commodrtyName firstCommodrtvsecondCornmodrty pricePerCommodity convnoditvNumber shoppingcartEntrance符符值字字数点击加入购物车技tfi时触发orderiD order Amount recerverName receiverProvince receiverCrtv receiverArea rece
7、rverAddress transportationcosts预订订收收收收收运属ID金人人人人地串弟串耶串串出串 值符符符值符符符苻符值 故字字字数字字字字字K成功提交订单时触发抽取出实现分析指标需要的事件、事件属性、用户属性 事件和属性命名统一采用下标命名法或驼峰命名事件和属性的命名单词全部为名词届性命名时，使用魏词为通用名词方便复用通用的字段属性复用已有字段，如topijid、order.id bool值属性值严格执行，不可使用返回字符串0、1是、否等代替如果是SaaS服务避开默认字段属性名上面这个是一个比拟典型的埋点需求文档样例，包含事件名、属性信息、触发时机、例如等等基础的埋点信息，
8、在实际设计埋点需求文档时需要考虑命名的规范、属性信息的复用等等。2. 1实现方式之采购第三方产品目前一般有通过采购和自研 以及采购后增加自研进行如何搭建-路线之采购第三方SaaS服务接下来是说我们在工具上面会有两种实现的路线。第一种我们是基本上有 非常多的第三方的数据治理、数据可视化、数据监测的这种工具。2.2实现方式之自研产品实现路线之开源方案+自研通用数据分析路线通用数据分析路线行为分析专业路线采集存储可视化开发定义通用存储通用BI产品 Nginx Logstash API开源SDK TiDB Hive ESOLAP常用 Metabase Superset Redash Tableau P
9、owerBI自研分析模块 神策SDK 易观SDK 免策SDK Mixpanel Echarts Hightchart AntV Cube.jsClickhouse ImpalaDurid KylinPresto第二种以自研为主的实现方式，中间会有几个关键的环节，数据采集、 数据存储（含计算引擎）、数据可视化数据采集对行为数据采集局部我们一般封装为埋点采集的SDK,然后嵌入到 不同的客户端中。SDK的作用在于封装好一些公共的参数信息、上报方式 以及帮助各端开发简化数据上报的过程。同时也在基础层面上支持类似可 视化埋点、圈选埋点、全埋点等不同的埋点方式。数据存储（含计算引擎）在行为分析领域里面，现
10、在最热门的是使用Clickhouse做存储及 计算引擎，这个笔者所在公司，每日千亿级别的数据增量可以比拟高效沉着 的进行行为数据分析。对于数据并没有那么大的公司也可以根据自身情况 选择诸如Durid、Impala等计算引擎数据可视化分析的结果在大局部团队内部都希望能以可直观查看的方式进行展 示，包括一些简单的图表、数据看板等。这局部如果选择完全自研的话本钱 比拟高，一般的处理方式有两种，一种采用开源的图表组件进行二次开发， 例如使用范围比拟广的EchartSs AntV等进行定制化的图表开发。另外也可以直接在上游的分计算引擎上直接接入传统意义上的BI可视化产品进 行最终数据结果的展示。这类产品
11、开源和和商用的都比拟丰富，国内大多是以敏捷BI的Title 宣传，在开源侧那么可以选择使用受众比拟多的Superset和Metabase,前 者功能丰富，后者颜值交互更高。三、如何规范埋点业务针对如何规范埋点业务，我们也是从组织和工具两方面进行，组织层面上 我们划分为业务相关和技术相关，各自都需要一个关键对接人。如何规范-关键组织结构和决策人数据采集项组数据采集项组（虚拟or实体组）业务对接人业务对接人业务对接人技术对接人-懂业务，清楚业务流程-数据意识和基础、数据理解能力主动意识强-梳理，撰写文档能力-比拟强的培训和表达能力产品经理运营市场增长投放产品经理运营市场增长投放Android iO
12、S Web 小程序技术对接人-懂业务，清楚业务流程-熟悉数据采集原理和各种技术方案-规范、抽象能力重视数据平台建设对业务对接人业务对接人主要是对业务需求的汇总抽象，高效的设计埋点采集事 件及公共参数等。提升整体数据采集的可复用性和规范。这个角色也需要一 些比拟突出的特质 既要有数据相关的基础，又要业务流程熟悉，能帮助业 务产品梳理清楚需要采集的数据内容，查看的指标范围。技术对接人对技术对接人来说，核心职责是能在采集上报层面做到技术高效实现。借助开源或者自研的埋点采集SDK完成数据底层支持。如何实现-埋点测试方式及工具产品迭代数据指标需求产品迭代数据指标需求“数据产品”埋点DRD文档埋点开发埋点
13、评审埋点开发“埋点测试”埋点测试开发自测 石墨文档表格 后台手动录入 自动回补至后台 代码埋点 可视化埋点 全埋点、无埋点 服务端接口采集 人肉view/Console Kibana等 测试后台 自动化测试报告整个实操过程中需要有相关工具产品的支持埋点管理在初期阶段使用在线表格文档方式进行管理，后期逐步开发稳定的后台产品并且和埋点分析下游使用数据方的系统打通，方便埋点元数据信 息对接。埋点开发这块最简单的方式就是使用代码埋点，比方点击绑定Onclick函数上报自定的字段信息，进阶后使用全埋点、可视化圈选埋点等方式提升埋点 采集效率埋点测试埋点测试是在开发完了以后需要在测试工具上去做数据的验证。
14、最 原始的就是去做人肉的view,就是我们拿一个小板凳蹲到开发工位旁边去 看一下这个代码，它触发你看数据，这个对不对？这个是最原始的。另外有 Kibana之类的查询工具可以协助快速的做埋点日志的查询提供简单的可视化展示。另外也可以尝试做自动化测试，自动mock数据生成测试报告, 版本回归测试效率都极高。四、常见的产品和服务常见工具&开源产品行为分析产品通用BI工具数据整合服务SegmentSnowplow AnalyticsStitch神策 SensorData 字节 DataFinder Growing 10 Tracking 10 Talkingdata 诸葛10 友盟 百度移动分析 腾讯移动分析 易观 阿拉丁Google analytics FirebaseFabric MixpannelAmplitudeHeap KissmericsLookerPendoGoogle data studioTableauPowerBISupersetMetabaseDavinciRedash整个环节的话就讲完了，然后会有几个不同的文档跟工具，这个会的 话给大家提供一下我们常见的工具跟市面上可以用的开源的产
