• 中央环保督察“回头看”10省区问责630人 2019-09-19
  • 天津举办改善营商环境专题讲座 2019-09-19
  • 日本核能行业誓言日本将在今年内重新启用核电 2019-09-03
  • 中国保险行业协会发布汽车后市场配件合车标准 2019-09-02
  • 晋中市通报五起违反中央八项规定精神问题 2019-08-30
  • 两小鸟缠绕困路中,公交司机车流中救助 2019-08-30
  • 互联网药品信息服务资格证书 (京)-经营性-2009-0016 2019-08-29
  • 淮南23家存在重大安全隐患单位被挂牌督办 2019-08-29
  • 专属球队定制装饰火爆 足球盛宴更是消费大餐——浙江在线 2019-08-26
  • 驻村工作队帮村民“马”上致富 2019-08-26
  • 特色小镇里的税收服务 定海国地税多措并举提升效能 2019-08-23
  • 【央视快评】让传统文化焕发新时代风采 2019-08-22
  • 后高考时代 孩子们这样致青春 2019-08-12
  • 湖南高校:将十九大精神融入基础课教学建设 2019-08-12
  • 兰州大学“习近平新时代中国特色社会主义思想研究中心”成立 2019-08-10
  • 当前位置 > CPDA数据分析师 > “数”业专攻 > 京东数据分析师宝器对流量数据分析的思考

    黑龙江快乐十分走势图_和值尾:京东数据分析师宝器对流量数据分析的思考

    浙江快乐彩和值走势图 www.pn-vs.com 来源:数据分析师 CPDA | 时间:2019-06-14 | 作者:admin

    作为数据分析师你可能想到的是CPC、CPS这一类的关键字,但到底是用CPC还是其他方式计费,如何计费,给哪条渠道线推广?这些问题都需要你对公司网站流量数据从采集到到分析有全面深刻的理解。

     

    目录概览

    以下内容为个人现阶段业务分析与学习理解,内容将从数据采集到用户分析(绩效指标KPI)这条线路展开。主要内容目录如下:

     

    京东数据分析师宝器对流量数据分析的思考 3 - 京东数据分析师宝器对流量数据分析的思考

     

    流量数据分析

    数据采集

    何为“埋点“?

     

    说白了就是收集数据,首先你想到可能可能是爬虫爬取,但你要搞清楚,现在是在公司的产品线,难道你能通过爬虫爬到“宝器点开了××搜素框”这样的行为事件吗?很明显这是不现实的。

     

    那类似于这样的用户行为事件怎样采集数据呢?答案是通过“埋点”,所谓埋点,指的就是针对用户行为事件捕获、处理和发送的相关技术及实施过程。

     

    举个例子:如果京东内部运营人员想看一下如下图“粽情端午节”这个活动的效果,研发人员可以通过在下图红色箭头所指地方“埋点”,当用户点击这一栏的时候,后台将会触发并上报这样一条用户点击行为数据。

     

    京东数据分析师宝器对流量数据分析的思考1 2 - 京东数据分析师宝器对流量数据分析的思考

     

    埋点作用?

    1. 用于流量监测(在线情况、PV、UV指标等等分析)
    2. 便于构建用户行为路径(通过埋点获取用户的行为数据链路)
    3. 通过对买点数据的分析,判断产品和活动等效果及未来走向
    4. 监控应用运行状态,方便问题定位和追踪
    5. 为营销决策提供数据支持
    6. 实施AB Testting

     

    流量数据采集底层表与字段

    埋点时为了收集数据,但不是所有的数据都需要采集上来。首先得知道业务需求是什么,比如现在BOSS想看一下近7天的的DAU走势,这时候分析师就要思考怎么计算DAU,之后再和产品人员讨论如何埋点可以得到某个“字段”用于计算DAU(可以在用户启动APP的时候埋点上报一条日志标识)。

     

    在实际的操作中,有以下的几个方面的数据可以被采集:

    1. 用户的系统属性特征
      1. 操作系统
      2. 浏览器
      3. 域名
      4. 访问速度
      5. 网络状态(2G、3G、4G等等)
      6. 其他
    2. 用户的访问特征
      1. 开始访问时间
      2. 结束访问时间、
      3. 第一次访问、最后一次访问
      4. 点击的URL
    3. 用户来源特征
      1. 网络的内容信息类型
      2. 内容分类
      3. 来访URL
    4. 产品特征
      1. 产品编号
      2. 产品类别
      3. 产品颜色
      4. 产品价格
      5. 产品数量等等

    所以综上可能流量数据采集底层表如下(这里只做简单的列举,更多请自行查阅思考):

     

    京东数据分析师宝器对流量数据分析的思考2 1 - 京东数据分析师宝器对流量数据分析的思考

     

    据处理(ETL)

    目的:根据后续的指标统计需求,过滤分离出各种不同主题(不同栏目path)的基础数据(创建不同的中间表表示)。

    方法:一般直接通过HQL按维度和指标提取数据(可能从原始底层采集表提取比较困难,原始表也需要经过ETL将业务系统的数据经过抽取、清洗转换之后加载到数据仓库)。之后可能根据业务需求将基础性指标脚本固化,推送到内部BI平台制作报表展示。

    举个例子,计算一下近7日UV、登录用户及访问IP等指标:

     

     

    SELECT dt,
    COUNT(DISTINCT deviceid) AS uv ,
    COUNT(DISTINCT CASE WHEN length(trim(user_id)) > 0 THEN user_id else NULL end) AS login_users ,
    COUNT(DISTINCT ip) AS ip_num ,
    COUNT(session_id) AS session_num
    FROM dwd_caiji_table
    WHERE dt between sysdate(-7) and sysdate()
    GROUP BY dt

     

    问题

    可能很多朋友想问前面提到的通过HQL来提取数据而不是用SQL,实际上HIVE-SQL设计的目的就是想让会SQL而不会MapReduce编程的人也能使用Hadoop进行数据处理(毕竟公司实际的数据量都是TB、PB甚至更大)。

     

    目前流行的大数据相关的计算框架能处理大量的数据和计算,基本是依赖于分布式计算框架(比如MapReduce),而分布式计算,是一个集群共同承担计算任务,理想状态下是每个计算节点应当承担相近数据量的计算任务,但实际情况可能因为数据分配的严重不均衡导致数据倾斜。

     

    所以在做ETL的时候需要考虑数据倾斜的问题,相关内容过多请自行查阅。

     

    指标统计与用户分析

    说明:限于篇幅,将目录3、4串在一起。

     

    产品数据化是有非常有好处的,优点

    1. 可视化:用户行为可视化,可清晰的了解用户行为
    2. 可追踪:定位产品问题
    3. 可验证:数据支撑和验证
    4. 可预测:通过数据变化,预测后期走向

     

    而数据化的前提是需要一些指标来衡量,这里宝器将指标分成网站的流量指标和用户行为指标,意思是说一部分几乎是通用性分析指标,一部分会根据不同的业务需求场景而设定

     

    针对每个指标的具体含义如果有不理解的还需要各位自行查阅。需要了解的是每个指标的定义 、作用

     

    举个例子,DAU:

    定义:Daily Active User(日活跃用户)

    作用:可以用户衡量产品(如京东app)的活跃度,可用于了解用户增长和减少趋势。

     

    现在重点讲一下宝器对用户分析(绩效指标KPI)的一些看法,首先个人是将用户分析分成两类,一类是基础性分析,一类是模型策略分析。说的简单点就是想通过基础性的指标分析,调整运营策略,并根据不同的商业需求,搭建用户分析模型体系。

     

    基础性分析指标分成两种,一种是针对新用户,一种是针对老用户,而新用户对应着拉新转化。而针对老用户可分成活跃、留存、跳出、回购。举个例子:

     

    拉新(渠道)

    京东往往具备 APP、移动端、微信端、PC端渠道,其中根据不同的业务,流量偏重有所不同,随着手机移动设备的越来越智能化和大屏化,一般情况下,电商节618数据表明,非PC端消费的用户最多。现在的商业机构更加注重非PC端(微信、APP、移动端)的营销,所以了解用户使用的设备和渠道能够使得运营和利润最大化。

     

    转化

    指用户进行了相应目标行动的访问次数与总访问次数的比率。相应的行动可以是用户登录、用户注册、用户订阅、用户下载、用户购买等一系列用户行为,因此网站转化率是一个广义的概念。简而言之,就是当访客访问网站的时候,把访客转化成网站常驻用户,也可以理解为访客到用户的转换。

     

    京东数据分析师宝器对流量数据分析的思考3 1 - 京东数据分析师宝器对流量数据分析的思考

     

    针对老用户的活跃、留存、跳出、回购同理可直接搜索相关关键字自行阅读。

     

    CD5656   人工智能爱好者社区

  • 中央环保督察“回头看”10省区问责630人 2019-09-19
  • 天津举办改善营商环境专题讲座 2019-09-19
  • 日本核能行业誓言日本将在今年内重新启用核电 2019-09-03
  • 中国保险行业协会发布汽车后市场配件合车标准 2019-09-02
  • 晋中市通报五起违反中央八项规定精神问题 2019-08-30
  • 两小鸟缠绕困路中,公交司机车流中救助 2019-08-30
  • 互联网药品信息服务资格证书 (京)-经营性-2009-0016 2019-08-29
  • 淮南23家存在重大安全隐患单位被挂牌督办 2019-08-29
  • 专属球队定制装饰火爆 足球盛宴更是消费大餐——浙江在线 2019-08-26
  • 驻村工作队帮村民“马”上致富 2019-08-26
  • 特色小镇里的税收服务 定海国地税多措并举提升效能 2019-08-23
  • 【央视快评】让传统文化焕发新时代风采 2019-08-22
  • 后高考时代 孩子们这样致青春 2019-08-12
  • 湖南高校:将十九大精神融入基础课教学建设 2019-08-12
  • 兰州大学“习近平新时代中国特色社会主义思想研究中心”成立 2019-08-10
  • 赛车倍投输了 下载秒速时时彩彩开奖 浙江十一选五遗漏号 今天云南十一选五开奖 福建福彩15 新加坡快乐8怎么玩 江西时时彩qq群 百家乐网 20选5复式中奖计算器 九心精准一尾中特 排五复式投注表 江苏快3下载 天津快乐10分走势 复式双色球8加2多少钱 澳洲幸运8正规吗