本帖最后由 源济 于 2019-8-3 07:34 PM 编辑
【暗察笔记】是苍衣社职业故事系列。这里汇集各行职业侠客,组成“暗察使”。每期一位暗察者讲述传奇职业故事,旨在开眼界、长见识。
大家好,我是脸叔。 【暗察笔记】是苍衣社新开的一个系列,专门讲述传奇职业故事。这里网罗了隐匿在城市江湖的各行职业侠客,他们有一个统一的名字——“暗察使”。 数据分析师、心理咨询师、缉私警察……你听过的没听过的,应有尽有。 第一篇由首席数据分析师黄诩向我们讲述。他现在已经是一家创意公司的CEO了,说起职业生涯最特别的故事,他说CEO不有趣,还是数据分析师够特别。 老规矩,「在看」过3000,放黄诩的下一个故事。 这是 苍衣社 的 第 01 篇 暗察笔记 零幺号暗察使:黄诩 职业:数据分析师 职业技能:爬虫、数据点提取 全文 9094字,阅读约需 10 分钟 ★★★ 世界的本质是数据,而大数据发展的原动力是人们测量和分析世界的渴求。 我们公司是一家大型的连锁超市,颇具规模,在全国的一二线城市都有分店,准备明年在A股主板上市。 我是公司大数据部的一名数据分析员,主要的工作是将从各个分店传输回来的交易流水数据进行整理分析,从中提数,从而优化公司各方面的资源配置。 浩如烟海的交易流水数据枯燥又乏味,许多同事干不了多久就跳槽去了云计算公司,留下来的也就是像我们这样耐性较强的“数据痴”了。后来首席数据官也自己出去开公司创业了,我就赶鸭子上架当了首席数据分析师。 其实,能引起公司的重视,不是说我的数据分析能力有多牛掰,而是在日常工作中,我喜欢突发奇想地弄一些排列组合,把一些风马牛不相及的事物联系到一起,时不时会收到意想不到的效果,让人眼前一亮。 举几个例子,通过对海量交易流水的数据分析,我发现在暴雨天气里,雨伞、雨衣等雨具,和蛋挞、蛋糕、吐司面包等轻食品会出现销量暴涨。 如果说雨具用品在下雨天畅销,还在情理之中,那轻食品也卖得猛就很难用因果关系来解释了。我给公司提出了调整货架的建议,在下雨天将雨具用品与轻食品摆放在一起,结果这两类商品出现了大幅度销量提升。 此外,还有雪糕与鸡蛋饼的组合,饮料与衣架的组合等等,都是我通过对公司大数据的分析后给出的优化配置建议,对各超市的销售业绩做出了不小的贡献。 让我最长脸的一次,是对一位年轻女顾客的数据分析预测——我预测到她怀孕了。 按照惯例,我们每个月都要对顾客的潜在消费需求进行数据分析预测,以便更好地推荐商场新商品,刺激消费。在大量的商品交易数据里,我们梳理出一条特殊的规律,那就是通过顾客对某几类商品的高频购买,可以推断出顾客的身份特征、习俗喜好、性格倾向,甚至是某些生理特征。 我通过VIP卡注册信息以及积分兑换商品的情况查看顾客当前消费状态,发现了一个非常明显的购买特征:高频次购买乳香液、薏米粉、小麦胚芽粉和竹碳丝纤棉球的女顾客都处于妊娠期。 出于更好地向顾客推荐实用商品的考虑,我拉出了一大串潜在顾客的名单资料传给客服部门,建议客服人员向她们寄送孕妇类商品宣传单册。 这本是件稀疏平常的事,没曾想却生出了事端来。售后服务中心接到了一个顾客的投诉电话,骂我们乱搞,把孕妇类商品资料寄到他家里去,他家里只有一个上大一的女儿,哪儿能用得了这些东西。 投诉的矛头直指我们大数据部,推荐建议是我提出来的,“乱搞”二字不折不扣地扣在了我的头上,同事们一番揶揄嘲笑,弄得我一个礼拜都抬不起头来。 好在那位顾客后来又打来了电话致歉,说自己是一个不称职的父亲,这些年只顾着工作,忽略了对女儿的管教,让女儿在外面结交了不好的朋友。如果不是我们寄去的孕妇用品推荐资料,他现在还被蒙在鼓里。 这个剧情急速反转的案例,进一步证明了基于相关关系分析的数据预测是很靠谱的,我也因此在公司做了回小红人。 ★★★ 这件事的热度没过去多久,公司本部总经办就派人来找我,交给我们数据部一项近乎荒唐的工作任务。 作者图 | 公司办公区 事情是这样的,为了应对日益激烈的同业竞争,公司想效仿国外零售巨头Costco(好市多)的会员卡模式,用极致性价比、极致服务留住顾客,获取顾客终身价值。公司决定在现有的大数据技术基础上做to C(至客户)端的业务下沉,以突显差异化。 于是,我们大数据服务对象要从面向公司层切换到面向金卡顾客层。 而第一位要求使用我们大数据服务的客户,竟然就是上次那位让我“走红”的老爷子。老爷子见识了我们大数据预测的威力,直接就办理了新推出的金卡会员,要求使用大数据增值服务。 “什么,不是吧,刘总,让我运用大数据分析技术寻找他女儿的下落?”我听完总经理刘必成布置的任务,惊得嘴巴都张成了O型。 刘必成笑笑说:“小黄,你别那么惊惊咋咋的,你的个性我了解,大胆敢干,有创新意识,思维也比一般人超前,你上次分析出这个顾客女儿怀孕事情就是一个很好的例证。” 刘必成年长我几岁,五年前接过他父亲老董事长的班,是公司的董事长兼总经理。他年轻有为,锐意创新,跟头栽了不少,业绩也十分傲人,是业内的传奇人物,也是我十分认可的上司,他一开口我就很难拒绝。 “……可是,他老人家的女儿走丢了,应该找警察呀,干嘛找我们啊?”我小声说。 “老爷子来找我们也是有苦衷的,他是大学的退休教授,家风严谨,可家里的独生女儿,还没结婚,先把肚子搞大了,他不愿张扬也是可以理解的。他女儿也很任性,动不动就玩离家出走,没少麻烦警察兴师动众地去找。结果呢,不是在她的姑姑家,就是在她的同学家,还有一次更离谱,她竟然藏在自家卧室的床底下。 这一次小姑娘又玩人间蒸发,老爷子碍不下面子,且他与女儿还能打通电话,也不算是失联,也不好意思再去麻烦警察。小丫头就是不肯回家,也不肯说出自己在哪儿,老爷子心里老不踏实,正好我们推出大数据服务业务,就找过来了,要我们帮他查查女儿的下落,不要声张……” “这个界实在跨得有点大啊,但是……嗯,我试试吧。”对刘总我实在没法说出拒绝的话。 刘总将那位客户的基本资料交给了我,“好好干,这一单做好了意义深远,说不定我们正好踩中了一个全新领域的红利节点上,可以打造成公司未来新的核心竞争力,将同行甩出几条大街去。我会派安保部经理唐塑协助你们的工作,他在公安系统的关系可以用一下。” 我回到办公室打开了资料袋,客户叫方作清,65岁,是一名文学院的退休副教授,家庭亲属档案里只写着女儿的名字方梦嘉。 我心里不由地犯起嘀咕来,这位退休教授又不是学算法技术的,怎么就这么笃定大数据能够帮他找到女儿?不惜掏出几万块办理金卡会员卡? 在展开网络数据爬抓之前,我觉得我有必要去见一见方作清。 ★★★ 我与安保经理唐塑一起去了方作清家。 方老家在唐翠园小区,住的是上世纪90年代建造的老式住宅楼,楼体陈旧,墙面的白石灰脱落得一块块的,像是被虫蚁蛀蚀后留下的痕迹。 防盗窗铁网更是锈迹斑斑,楼道里到处堆放着杂物,我们费了点工夫才找到了方作清家。 方老头发还很黑,瘦高个子,一身中山装,背未见驼,戴着黑框眼镜,一身书卷气。 我把我的疑问提了出来,他老人家的回答着实令我大跌眼镜。 我问他为什么相信大数据能帮他找到女儿,他回答大数据是一种痕迹学,现在是互联网技术时代,梦嘉是一个少了WIFI信号或断了网络连接就活不下去的人,在网络空间里必定会留下大量的信息痕迹,其中少不了GPS定位的痕迹,只要提调出这些信息,就能明确梦嘉藏身的确切位置。 他的专业程度让我叹为观止,一个文科教授能做到这种程度,想必是下了一番功夫的。 我又问他女儿为什么会离家出走,他说是他打了他女儿。为什么打呢?方老涨红了脸支支吾吾了半天。 原来他那个任性的闺女在大学不好好念书,跑到外面做兼职陪酒,搞大了肚子。因为我们公司寄来的孕妇用品推荐单册,他才知道了真相,一气之下就打了她。 方梦嘉被娇惯坏了,怼了方老一番,夺门而出,方老到方梦嘉的同学老师那里都问过了,没有她的消息。她已经连续旷了十几天的课了,打她的手机,她就是不肯回来,也不肯说出自己在哪里。 我又向方作清了解了一些方梦嘉的情况,看到了方梦嘉的许多生活照。方梦嘉长相甜美,光看照片一点也没觉得是这样骄纵蛮横。 ★★★ 信息了解得差不多,我和唐塑离开了方家。在回公司的路上,我问唐塑关于兼职陪酒的事。 唐塑年纪与我相当,有点来历,干过几年刑警,后来因为一些事情离职,竞聘到我们公司做保安经理,对三教九流都比较了解。 他说:“嘿,现在哪儿还叫什么陪酒小姐,都叫援交女了。”他方向盘一打,“走,我们去XX大学见识一下。” 晚上八九点钟,校门口热闹非常。马路两侧停了许多豪车,奔驰宝马自不必说,法拉利宾利兰博基尼也很多。一些打扮精致的女孩围着豪车跟车主插科打诨,不时有人坐车走了。 “喏,援交女在拉生意呢。”唐塑说。 我愣愣地点点头。 唐塑说:“这里面可是有门道的。看见了没,豪车顶上都放着东西的,矿泉水是一次1000块至1600块,红牛是包夜费一万块。她们去拿矿泉水或红牛,任选一个,就决定了成交哪种生意——艺术系女学生相貌身材很出众,价码是有点高的。” 我皱了皱眉,关上车窗,“走吧。” 作者图 | 校园外的街景 回去我就着手查方梦嘉的事。她5月24号离家出走,方老就再没见过她。
从大数据成本的角度来考虑,我决定从网络公开信息入手展开爬抓。我使用爬虫软件在PC端抓取方梦嘉的所有上网信息痕迹,一爬抓不得了,竟然下载了100多G的信息,必须提纯,加入关键算法进行过滤。 我将网页信息倒排建索引,输入搜索关键词搜索索引,按排列算法排列结果,提取了180个数据点,再进一步压缩,减少到12个。 方梦嘉在网上留下的上网痕迹特征大致可以围绕网购、旅游、嗨歌、模特T台秀、婺源、天国、王子等几个关健词,在她的豆瓣公开日记和微博里频繁出现过几个名字:陈雅森、罗杰、范丽丽、梅姐。 其中,有一个痕迹数据点令我非常担心,方梦嘉的所有上网痕迹止于6月7日晚上10:23,之后再如何强力搜索爬抓也没有新的信息数据。 在网络时代,一个大学生长时期不上网代表了什么?唐塑分析有三种可能:一是被人非法拘禁了;二是换了马甲有意隐藏;三是可能已经死亡。 让我更揪心的是,在方梦嘉的最后一次上网痕迹中,出现过数条“死亡是什么感觉”的搜索信息。 已经出现的几个名字通过云搜平台核实,陈雅森是一个三线歌星,在国内没有多大的名气。范丽丽是XX大学表演系的大一女生,应该是方梦嘉的朋友。 罗杰与梅姐这两个名字就麻烦了,云搜国内叫“罗杰”这个名字的人有三千四百人之多,无法确定哪一个与方梦嘉有关系。“梅姐”这个化名就更无从查起了。 我去询问了方老,他也从未听方梦嘉提起过什么罗杰和梅姐,但是他认识范丽丽,给了我她的联系方式。 我加了范丽丽的社交账号,试着与她交流。范丽丽提到方梦嘉的名字很生气,说自己半年前与她吵架绝交了,原因是方梦嘉贪慕虚荣在校外做援交,她羞于与此人为伍。 我还没来得及说话,她就一通抢白,说自己是如何的根正苗红,不愿同流合污。 我耐着性子看范丽丽发出的一连串愤青式文字,然后问她认识罗杰吗? 范丽丽很干脆地丟出三个字,“不认识。” “认识梅姐吗?” “没听说过。” 末了,她又补充一句:“那个罗杰好像是方梦嘉的男朋友,是个富二代,经常开部法拉利来接她,车牌够大气的,叫台H1688。” 根据我在车管所网站查询到台H1688车主信息是:李浩天,男,26岁,嘉御集团文娱事业部经理。 罗杰与李浩天是什么关系,怎么会开他的车出门? 嘉御集团是本市的明星企业,没费多大劲,我便在公司的上下游合作商那里查实到了李浩天的真实情况。 李浩天是李家的独子,父母忙生意疏于管教,从小就是个浪荡子,高中没上完就辍学,整天在外面花天酒地,“罗杰”正是他在风月场所泡妞时常用的名字。 由此看来,要想查找方梦嘉的下落,李浩天这个富二代肯定绕不过去了。
|