您当前所在的位置:首页 > 市场服务 >

航空公司与爬虫的战争:特价票的真相与内幕

发布日期:2017-07-04 来源:未知 下载此文章

寒冬来临

  01票代野蛮生长的年代

   改革开放之初,坐飞机对于普通老百姓还是个稀罕事,乘坐飞机出行的人实在太少,提高航班的乘坐人数是当时航空公司的主要目标。除了优惠活动外,还出台了各种代理鼓励机制。比如 2002 年左右机票代理商享受“3+X”%的票代利润模式。据业内人士回忆,那时各大航空公司为争夺旅客,竞相给予代理企业远超出官方规定的手续费,“X”的部分最高可达到 17% 以上。除此以外,航空公司还动辄发放动态奖励、年终大奖等来激励票代 。

  02是什么导致了3-2-1-0%

   趋之若鹜必将带来泰极生否。网上票代的兴起,在为用户出行提供出行便利的同时,也催生了灰产、黑产的泛滥。无资质票代借机浑水摸鱼牟取非法利润,有资质票代不惜铤而走险触动“红线”,视消费者的利益为鱼肉。

   各航司非常敏锐的洞察到了票代中的违规现象,马克思说过,“人们的奋斗所争取的一切,都同他们的利益有关。”解铃还须系铃人。于是,在 2014 年的各航司纷纷做同一件事情:降佣、禁废。

   国航自 2015 年 3 月 1 日(销售日期)起,境内代理人销售的 BSP / B2B 国际、国内客票不允许作废,客票的改期、升舱、退票按照客票使用条件办理,这将大大增加机票代理商的退票成本。

03明日黄花

   如今的航司其实早已把“提直降代”列入了重中之重,在这样的一种诉求下,2016 年 2 月 4 日,国资委“将直销比例提高至 50% ”、 “代理费要在 2014 年的基础上下降 50% ”等通知对于航司就如同甘露一般。

   其实,对机票行业里面灰产黑产现象,OTA 也深恶痛绝。例如 2016 年“九航企封杀去哪儿”、“李淼投诉假机票”两个事件,违规操作对企业形象造成了巨大的负面影响。

   因此,携程在 2016 年发布了一份《关于航班销售重要通知》,宣布暂停供应商(即机票代理商)销售 2016 年 9 月 1 日之后的指定航空公司的国内客票,这些航空公司包括了中国四大航。随后,大量代理人已经开始退出机票销售市场。

04前返→暗扣→佣金→后返→……

   至此,航空公司重新控制销售渠道,机票代理已走向没落。

   从 2002 年开始票代的黄金时期渐渐成为过去。之前拿着“暗扣”就很滋润的票代们,被航司严格管控,如今只能靠越来越少的佣金维持。今年,本来以为“后返”也是一个出路的票代们,又遭受重创,不得不主动探索新的出路了。

为何航司网站爬虫逐年呈现上升趋势

   遭遇了几次的重创,传统票代行业必将逐渐冷却。但是对于曾经和机票打交道的人们,长期打造的战场就放弃的如此甘心情愿吗?

   继续深挖佣金的方式获取利益已然行不通了,那么还有哪些环节是有机可乘的呢?

  01剧增的弃程现象

   某报在采访国航客运营销部发现了如下现象:

   国航座控中心的工作人员指着电脑屏幕,一张由北京飞往哈尔滨的某航班机票,上面旅客姓名、机票号、联系电话等均填写得清楚明白,但机票号前三位不是国航的代码,也不是国内任何一家航空公司的。显然这个“乘客”根本不存在,内容都是瞎编的。

   四川航空公司成都售票处主任说:虚占座位,越是旺季,越是紧俏的航班,被虚占的座位相对就多,如果被虚占的座位最后没卖掉,航空公司也没发现,那么这个座位肯定就是浪费了。

  02结合技术手段的虚占

   世间没有无缘无故的爱与恨。

   没有了佣金,代理人或者机票从业者天天琢磨着新的可持续发展的利益获取渠道。终于,新点子有了:虚占座位 。

他们大量抢占:①长期热门线路的各舱位;②座位数很少的舱位;③特价舱位;④黄金时期(如黄金周)的各舱位。

   目的:利用因时间推移造成的舱位价格变化获利、或通过自己的平台自主加价转售 。

   虚占座位从机票代理这个词出现就有了,因为早期是为了确保一些团队的机票冗余,当时现象也并不是很多;但现如今主要目标是为了囤积后伺机出售实现利益最大化——现象相同,但是体量和目的却完全不同。

   这些大量的操作靠人工已经无法满足需求了,因为一种网络爬虫技术对于虚占座位的人群们来说如获至宝,因为爬虫可替代 95% 的人工操作。

  03倍受青睐的爬虫

   要通过虚占来取得利益,至少要知道这些目标机票在哪?何时出现?最晚支付时间是?压位后的机票确保不会被收回?处理这些问题,大致需要如下流程:

   1)充分的利用各种爬虫工具

参考阅读:恶意爬虫这样窥探、爬取、威胁你的网站

   2)大量下订单,规定时间内(各航线不同)不支付,并把抢占的舱位放到 OTA 、机票 B2B 上出售;

   3)规定时间内卖不出去,在被取消订单前,订单失效前马上再去追一个订单,继续把位置占住;

   4)如果出售成功,就可以把原来占位的机票取消掉,再用客户的身份信息订票并出票。

   虽然从虚占到变现过程不复杂,但是要形成暴利,就需要来回如上过程无数次。这种批量操作需要大量的交互窗口和大量追位工具操作,人力物力随之上去了,最后搞不好赔本赚吆喝。

   怎么办?好在,人人都是“产品”经理。他们有高级自动化的工具,专门针对压位、追位。

这是我们在网上发现的针对某家航空公司的自动爬虫工具, 它实现了:

   多个线程自动登录

   实时获取特价机票信息

   匹配后自动下单

   热门、特价机票跟踪

   其实,航司风控技术部门的很快就会捕捉到使用工具的人们,他们的特征是: IP 来源单一,频次过高,爬虫即可被识破并且被禁止掉。

   所谓道高一尺魔高一丈,只要有一丝丝希望,“产品”经理就不会放弃:他们充分的利用各种资源,比如利用购买或者租用的云机房、IDC 中的 IP 资源,甚至会改造了路由器,待买家购置家中后,便直接转化成了为他们服务的爬虫种子。

   其目的:将单一 IP 的访问动作稀释到成千上万的 IP 中去 。

   岂安科技风险情报专家笑天分析了 2016 年某三个月的爬虫来源分布图,也证明这一点,他们分布的十分广泛,调用顺序也毫无规律可循。

   综上所述,对于一个完整的风控体系而言,仅通过访问频率、Useragent 观测角度肯定不是最全面的的风控维度。

   抽丝剥茧看爬虫

   爬虫绕开技术层出不穷,防爬虫的技术也日新月异,风险黑名单可能是大多风控部门采用的方式,这种存在一定局限性,从行为轨迹和用户画像角度出发一定是风控的大趋势。

   针对航司的爬虫,需求表明目前最迫切的是防止黑代理将IP分散到世界各地绕开访问频率的监控,我们必须增加更多途径实时访问流量中获得更多有价值信息。(前提:一定不允许在 APP 、Web 中增加代码,大型企业对这些非常看重)。

  01访问元素丰富度

   普通用户在打开网页时会有比较丰富的地址访问,而自动爬虫通常只有少数固定的页面访问,比如航司活动专版、舱位价格页面、航线动态等。

图为岂安科技风控产品监控界面

  02访问轨迹连贯性

   用户在进行页面访问时,通常是有一个合理的访问轨迹,如从首页跳转到机票搜索,但爬虫在自动获取数据时,往往是对页面地址进行逐个访问,没有连贯的轨迹。比如首次访问就是登录页面,正常应该从搜索或者广告页跳转而来。

03访问静态资源比例

   爬虫获取数据时往往只关心具体的文字内容和数据,但不会查看图片以及加载页面上的 CSS 或者 JS 信息,这就为风控平台提供了一个较为显著的判断因素,这一点不用多加解释。

  04Click 间隔时间

   爬虫在获取页面信息时,会出现连续两个 Click 间隔时间过短,不匹配合理的人肉点击间隔时间,这就是典型的区别人机判断机制。

篇幅有限,仅仅列出以上这些在航司常出现的风险特征。

   小结

   一入票代深似海,从此节操是路人。

   对于各航空公司,爬虫仅仅是一个风险的开始。岂安科技的安全专家 James 和 Bogomil 通过调研,得出在航司还存在着信息泄露、短信轰炸、虚假注册、羊毛党、扫号撞库、密码找回等诸多风险问题。

   针对航司的行业特点,岂安科技开发了 Warden(看门者)产品,通过大数据分析、风控专家梳理,研制开发了航旅版业务风险决策系统,已陆续在各大航司、OTA 中交付使用,并得到了非常好的反馈。

   作者简介

   岂安情报产品经理浩源, 10 年以上的人机识别、风险情报分析、黑产调研相关的工作经验,在风险管理方面主张创新,专注于互联网金融、支付、航空、电商的反欺诈产品的调研和开发。

上一篇:美兰机场主动对标国际 建立五星服务标准900多项

下一篇:携程发布7月全球航线价格指数

主办单位:民航发展网     承办单位:北京盛世华恒文化发展有限公司

电话:010-68160386    传真:010-88210800

声明:本站部分内容来自于互联网,其言论并不代表本站观点,若本站侵犯到您的版权,请与我们联系,我们将在第一时间核实并删除!

工信部备案许可:京ICP备19053571号-1