• 坚守一条红线 维护生态安全(在习近平新时代中国特色社会主义思想指引下——新时代新作为新篇章) 2019-11-12
  • 《辉煌中国》第五集《共享小康》 2019-11-12
  • 这事咋办No.2丨申请西安保障性住房必看 花生让你有房住 2019-11-11
  • 预热世界杯 玩法各异!3张竞彩红单了解一下 2019-10-18
  • 崇拜不劳而获是腐败的根源之一,正气不足是腐败的第二个根源,沉迷于初级趣味易滋生腐败,提高素质力争不想腐,以医者之心防治腐败。 2019-10-09
  • 人民日报评论员随笔:让文化热情涵养更多经典 2019-10-09
  • 国产手机跟进“刘海屏”,凸显苹果在智能手机市场的影响力 2019-10-05
  • 世界杯倒计时:球迷街头狂欢为自己的国家打Call 2019-10-02
  • 紫光阁中共中央国家机关工作委员会 2019-09-24
  • 洪崖洞客流激增 渝中开通2条应急通道12辆公交车驰援 2019-09-24
  • 中央环保督察“回头看”10省区问责630人 2019-09-19
  • 天津举办改善营商环境专题讲座 2019-09-19
  • 日本核能行业誓言日本将在今年内重新启用核电 2019-09-03
  • 中国保险行业协会发布汽车后市场配件合车标准 2019-09-02
  • 晋中市通报五起违反中央八项规定精神问题 2019-08-30
  • 当前位置 > CPDA数据分析师 > 36小时数据分析行业HOT点 > 机票爬虫:订票网真人只有5% 低价票根本买不着

    四川快乐12直选遗漏走势图:机票爬虫:订票网真人只有5% 低价票根本买不着

    浙江快乐彩和值走势图 www.pn-vs.com 来源:数据分析师 CPDA | 时间:2017-12-21 | 作者:admin

    机票爬虫

     

    爬虫(spider),本来是个起源于搜索引擎的概念,百度、搜狗等搜索引擎,依靠巨大的爬虫集群每天抓取互联网上数百亿网页。

     

    随着技术的发展,现在的爬虫已经与以往大不相同。它被广泛用于互联网金融、电商、社交等领域。在机票领域,爬虫可以抓取机票价格,发现超值机票后,爬虫还可以仿冒真人用户将其抢先预订。

     

    机票爬虫们威力之大,让人叹为观止:多数订票网站,真实用户产生的不到10%,其浏览量的90%由爬虫产生。

     

    航空公司放出的低价机票,很少被普通用户买到。据业内人士估计,80%以上低价机票被票务公司的爬虫抢走。

     

    专家:业内网站的流量九成以上是爬虫

     
    其他行业的互联网公司,大家吹嘘自己价值的时候通常说,我的PV是多少、UV是多少。

     

    在机票行业,谁也不敢这么说。因为都知道,真实流量只有百分之几。

     

    携程的反爬虫专家在技术分享中举例:某网站的一个页面,每分钟的浏览量是1.2万,真实用户只有500个,爬虫流量比例是95.8%。

     

    据采访多个内部人士表示,即使在爬虫的淡季,虚假流量也占据订票网站的50%,高峰期更是在90%以上。

     

    这些爬虫流量只访问,消耗大量机器资源,却不产生任何消费,是每个公司最痛恨的东西。但是,因为怕误伤真实用户,各家公司的反爬虫策略做的非常谨慎。

     

    价格战促生爬虫肆虐

     
    某旅游网站的反欺诈工程师阿城(化名)表示,行业内的价格战在很大程度上促使爬虫程序的肆虐。

     

    他举例说:假使行内有三个网站A、B、C,他们都在宣传的时候主打:上某某网,订票最便宜。事实上,航空公司给他们的价格基本是相同的,即使有的网站出票量大,挣得也是年底的返点,很难有太大的价格差别。

     

    于是,网站A在某个月补贴300万,每张票平均补贴100元,使得自己网站上的机票价格看起来便宜好多。

     

    但是在制定价格补贴的时候,为了预防黄牛党,大家都不敢每张票直接减100,而是热门航线减50,不热门的减150,市场上重点宣传那些不热门的线路。

     

    而且在不同时间、不同航线,执行不同的价格补贴策略,同一张票,可能早上和中午的价格都不同。大家一看真便宜,于是蜂拥而至。

     

    网站B的CEO一看,这不行啊,我们也补贴。他们补300万,我们补500万。技术部的某某,你去监测下他们的价格,我要知道他们的补贴策略。

     

    网站上每天至少有几十万张票的价格出来,这肯定需要爬虫去爬,于是网站B的爬虫就出动了。

     

    网站C同样也这么搞。

     

    直到有一天,因为各家爬虫过于勤奋,导致服务器压力报警。

     

    网站A的CEO一看,我们的出票份额是市场第一,技术部的人员配备是他们两倍,爬虫谁怕谁?用更强大的机器集群武装起来的爬虫们蜂拥爬向对手的网站。

     

    事实上,国内的旅游网站有点名气的至少有七八家,都有各自的订票业务。这些家的爬虫爬来爬去,就有了爬虫流量占据所有流量95%的奇观。

     

    爬虫和反爬虫之战硝烟四起。

     

    提直降代,航空公司被迫加入爬虫之战

     

    2015年上半年,国资委要求几家国有航空公司未来三年内直销比例要提升至50%,同时代理费要在2014年的基础上下降50%,这就是民航业影响深远的“提直降代”。

     

    所谓“提直降代”,就是要求航空公司要直营飞机票,尽力削减票务代理、旅游网站的出票量。据业内人士介绍,直销比例每提高10%,航空公司就可以从代理人手中节约近10亿元的分销费用。

  • 坚守一条红线 维护生态安全(在习近平新时代中国特色社会主义思想指引下——新时代新作为新篇章) 2019-11-12
  • 《辉煌中国》第五集《共享小康》 2019-11-12
  • 这事咋办No.2丨申请西安保障性住房必看 花生让你有房住 2019-11-11
  • 预热世界杯 玩法各异!3张竞彩红单了解一下 2019-10-18
  • 崇拜不劳而获是腐败的根源之一,正气不足是腐败的第二个根源,沉迷于初级趣味易滋生腐败,提高素质力争不想腐,以医者之心防治腐败。 2019-10-09
  • 人民日报评论员随笔:让文化热情涵养更多经典 2019-10-09
  • 国产手机跟进“刘海屏”,凸显苹果在智能手机市场的影响力 2019-10-05
  • 世界杯倒计时:球迷街头狂欢为自己的国家打Call 2019-10-02
  • 紫光阁中共中央国家机关工作委员会 2019-09-24
  • 洪崖洞客流激增 渝中开通2条应急通道12辆公交车驰援 2019-09-24
  • 中央环保督察“回头看”10省区问责630人 2019-09-19
  • 天津举办改善营商环境专题讲座 2019-09-19
  • 日本核能行业誓言日本将在今年内重新启用核电 2019-09-03
  • 中国保险行业协会发布汽车后市场配件合车标准 2019-09-02
  • 晋中市通报五起违反中央八项规定精神问题 2019-08-30
  • 今天p3试机号是 今晚cba赛事直播 京东彩票在哪里买 三中三资料网站 好运来时时彩手机版 女人味原创6肖 江苏十一选五预测一定牛 246香港内部透码彩图 安徽快三形态走势图 2012年体彩排列三开奖号码 竞彩交易量 广东快乐10分中国走势图 爱彩乐快乐十分助手app 青海3d开奖结果今天开奖号 打三公最新出老千产品