大话魔幻大数据巨头Palantir

来源:中国信息化周报
关键字:Palantir,大数据,指环王,FBI
发布时间:2016-04-05 09:50

　　Palantir是一家成立于2003年的大数据分析公司，在2015年之前一直鲜为人知，直到去年大数据概念广为人知后，大家才注意到这家已经运营十年的大数据巨头。如今Palantir以其202亿美元的估值仅仅排在Uber和Airbnb之后，主要客户更是只在美剧和好莱坞电影里面出现的CIA和FBI等。

　　当人们深入了解时会发现Palantir公司具有浓郁的魔幻色彩。公司名来源于《指环王》，剧中Palantiri（多一个i，这里不是笔误）是一个可以穿越时空、看到一切的水晶球，它可以和其它水晶球建立联系，从而可以看到附近的图像（相当于魔幻时代的摄像头搭配监视器）。公司总部位于Palo Alto（斯坦福的总部所在地），被Palantir命名为The Shire，名字来自小说《霍比特人》，是霍比特人的老巢。于是Palantir的员工还将一个大会议室装扮成小说中的一个房间的样子，可见其魔幻之心。而Palantir本身的发展历程，也是一段魔幻之旅。

　　效力CIA，Palantir初露峥嵘

　　9·11恐怖袭击之后，美国面临巨大威胁，而反恐导致的大范围监控、调查行动和民众个人隐私保护之间却出现了巨大的矛盾。Palantir成立的初衷就是希望去缓和甚至是去解决这样的矛盾冲突，用技术手段构建魔法球Palantir以看清世界，在安全和隐私保护之间找到平衡。

　　Palantir创立之初并不顺利，整个团队都是靠创始人Peter Thiel提供的个人资金来维持运转。无论是在融资上还是找客户打单上都遇到不少困难，没有人愿意相信这些年轻人。和为年轻人服务的Social App不同，做TOB服务还是需要一些资历，才能更容易打动投资人和潜在客户的。

　　当时CEO Alex Karp去欧美各地融资，最初也是问题不断。硅谷传统的两大VC基金都对他们说了不：红杉的Michael Moritz（硅谷的VC双子星之一）在会议中一直心不在焉；KPCB的合伙人更甚，花了一个半小时来说服他们，Palantir这个项目没有任何前途。然而最后拯救他们的是CIA，不仅带来了订单，还通过CIA的创投基金In-Q-Tel给他们贡献了两轮投资，超过200万美元。CIA最看重的是他们解读数据的能力。

　　CIA大概是最早接受大数据概念的政府部门之一了，9·11之后，CIA等部门忙于调查各种线索。斯坦福大学的几个教授以公开的海量信息为输入，利用计算机建立关于人物关系的网络，最后锁定了一堆疑似人物，并迅速将结果发布出去。让CIA大为震惊的是，教授们的结果与CIA花人力大量侦查和审讯的结果近似，这让CIA们误以为教授们有牵连，迅速飞到斯坦福找教授们问话，“人脑+电脑“来分析复杂问题并辅助反恐的可能性，由此初见端倪。

　　2004-2009年，Palantir主要为CIA等美国政府部门服务，为他们开发定制软件，实现整合信息检索和提取及分析关键信息。就如同我们在《犯罪心理》等经典美剧中看到的一样，面对整墙整墙的纷杂信息，抽丝剥茧找出最核心的部分。其实直到2008年，CIA都一直是Palantir唯一的大客户。

　　在最初的项目进展中，Palantir坎坷不断。公司的工程师主要来自于各大互联网公司和顶尖高校，使用的都是Paypal等顶尖互联网公司的成熟系统，此时面对美国政府内分散而略显初级的系统（包括数据库、邮件、Excel等等），还要在数据收集过程中满足各种权限及保密的需求，这让大家颇费脑筋。

　　但在这样的困难中，Palantir的工程师不忘初心，始终坚持不做项目而开发系统级的产品。将这些政府敏感的信息整合在一起的额外好处也得以体现，所有查询这些信息的人将在系统中留下痕迹，这可以防止类似斯诺登的泄密事件以及亡羊补牢。

　　抓住机会，Palantir大展身手

　　转机出现在2010年，Palantir在与Information Warfare Monitor（IWM）的合作过程中，发现了两个黑客网络：Ghostnet和the Shadow Network（俗称鬼魂特工网及影子幽灵特工网）。Palantir大肆宣传这两个黑客网络都由某敌对国家支持，并被用于攻击和盗取印度及美国等国家的敏感信息。凭借此机会，Palantir逐渐打开局面，在行业中声名鹊起

　　IWM，其实也是一个半官方半民间的组织，由加拿大的两所学校发起，但在2012年年初就关闭了。结合一些敏感的时间点及信息，有理由怀疑IWM和Palantir参与了对其他国家相关机构的网络攻击行动。

　　2010年，Palantir终于摆脱了单纯依赖于政府和国会支持运营的局面，走向企业服务而实现业务多元化。年初时JPMorgan成为Palantir的第一个企业客户，Palantir帮助其解决欺诈问题。在4月份的时候，宣布与Reuters集团达成战略合作，其Palantir Metropolis卖给Reuters。华尔街上，Palantir已经成为一个重要的服务商，其主要任务号称是对抗来自敌对国家的网络攻击。

　　同时，Palantir与政府部门的合作也在拓展，开始涉及到医疗和金融等多个领域，其中还被用于监控金融危机后美国政府刺激经济的众多资金的合理使用以防欺诈。

　　而真正让Palantir被大众关注还是因为麦道夫和本拉登。一家受雇于SEC旗下组织的公司曾爆出猛料，他们通过使用Palantir的软件，在整合40年的记录及海量数据并充分挖掘之后，发现了纳斯达克前主席麦道夫(Bernie Madoff)的“庞氏骗局”，最终协助多家银行追回了麦道夫所隐藏起来的数十亿美元巨款。在随后不久的美国政府公布的官方报告中，更是提到Palantir在美国政府追捕并击毙本拉登（Osama bin Laden）的行动中，扮演了重要的情报分析角色，作出了突出贡献。

　　依托产品 Palantir业务全面开花

　　Palantir旗下有两大核心支柱产品，Palantir Gotham平台和Palantir Metropolis平台，前者主要用于国防安全领域，后者更偏重于金融领域的应用。Palantir Metropolis可用于整合所有的定量数据、生成和测试创意并云协作。Palantir Metropolis是有效和定量的分析平台，能够提供适当配套的分析工具，以便满足多学科研究和复杂的研究的需要。购买Palantir软件大概需要花费500万-1000万美元，而且还有20%的预付款，剩余部分在用户满意后结清，其官方号称至今没有一套软件因为质量问题被退回。

　　产品的名字来源也颇为魔幻。Metropolis来自于《超人》，是超人生活城市的名字。而Gotham来自于《蝙蝠侠》，是蝙蝠侠生活城市的名字。结合公司名来自《魔戒》、总部名来自《霍比特人》，我们不难发现Palantir的强烈魔幻倾向。

　　Palantir除了协助美国政府追捕本拉登和破解麦道夫“庞氏骗局”这两件最为人津津乐道的案例外，在其他方面还有许多成绩。

　　在公共卫生领域，Palantir曾提供一个虚拟案例。假设大肠杆菌疫情正在底特律大肆蔓延。虽然政府知道疫情爆发的大致时间，而且明确了消费者是在哪两家不同的连锁店购买肉制品的，但政府对具体日期和源头无从可知，因此无法进行隔离调查和控制。这时候，如果使用Palantir，就可以让监管部门对这些数据进行分析和筛选，然后确认出这些地区哪些供应商的商品染上了病毒，最终将这些出售过“毒肉”的连锁商店进行隔离。

　　在公共设施领域，Palantir通过与美国警察合作，能够将遍布在城市及乡镇各处以及警车上的摄像头拍下的照片及视频入库存储，并提取出一些核心信息，比如车牌号码、人脸及体态等等。在需要的时候进行查找。曾经一位网友在一次偶然的机会通过正规程序，提交了自己的车牌号码查询自己的相关信息，结果警察翻出了他在最近一年内城市各处的驾车图片。这看起来很爽的同时，也让这位网友很是后怕。如果在这些图片里出现一些不该出现的信息，特别是涉及隐私的敏感信息，想想就让人不寒而栗。

　　以后最有杀伤力的一句话也许会是“我在Palantir上见过你”。

　　在对外军事领域，Palantir的软件已经被军方广泛采用。Palantir已经被运用于分析和预测伊拉克及阿富汗等敏感区域可能存在的炸弹以及地雷位置，或者帮助美军在巴格达选择一条被袭概率最小的路径，或者分析也门和索马里之间的亚丁湾存在海盗的热点图。而这些分析都是整合了美军（陆海空及海军陆战队）等多方原本孤立而没有联系的数据，通过大数据的分析，在数据之间建立起连续，而最终获得想要的结果。

　　在商业金融领域，JPMorgan作为顶级投行和商行，需要大量的数据，不仅是提供给自己的客户，而且自身也需要在交易中或者放贷中根据数据做判断。所以JPMorgan对于外部数据的获取是饥渴的：非农劳动力的供给和招聘状况，零售业状况，房产价格，消费者的信用卡逾期情况……在使用Palantir以前，这些数据都是从各个分散的外部渠道买来，而且互相之间很难联通。

　　然而在使用Palantir的软件之后，JPMorgan很快就把这些数据无缝整合在一起，而且还能发现这些数据之间的关联性。一位JPMorgan的前技术人员曾透露，他们每天都需要导入TB级的数据到Palantir。这套系统已经能够帮助公司每年节约了数亿美元的不必要损失，这些原来经常发生的损失包括：抵押房产的不当处理，黑客和欺诈交易，通过房产抵押套现等等。随着金融客户的增多，Palantir还推出了Palantir Capital Markets，专门解决金融市场上的各类数据需求。

　　在公共安全领域，Palantir更是成绩斐然。2011年2月15日，美国海关的一名年仅32岁的情报人员Jaime Zapata，在墨西哥的一条高速公路上被一群毒贩射杀。尽管他开着防弹的SUV并且亮明了自己外交官的身份，但是15名手持自动来福枪的毒贩依然果断开枪。与Zapata同行的另一位探员Victorá vila幸免于难，逃回华盛顿。当时毒贩手脚麻利，留下的证据太少，这让美国禁毒署（U.S.Drug Enforcement Administration，DEA）束手无策。

　　他们很快求助于Palantir，并展开了名为Operation Fallen Hero的行动。Palantir在浩瀚的人物、地点以及事件等等元素中间建立复杂的关系链，同时还吸纳入联邦探员们额外的信息：大毒枭们及各级分销代理人，他们各自的融资渠道以及运毒路线。

　　另外，Palantir还整合了其余的监控信息：银行流水、路边的监控路线、无人机拍摄的视频、线人笔录以及通信记录等等。这些复杂而孤立的信息，被整合到Palantir的一个完整系统中，进行复杂的分析。

　　最后的结果令人震惊，Palantir理清了关键人物以及关键组织的关系，并确定了主要嫌疑犯。最后结果是美国禁毒署通过跨境执法，进入墨西哥及南美多国，缴获了半吨左右的可卡因、30公斤的冰毒以及近300件武器，最终还逮捕了676名毒贩，包括暗杀联邦探员的大部分毒贩。

　　到2013年，据不完全统计，和Palantir合作的美国国家机构已经达到12所，包括大家耳熟能详的CIA、美国国土安全局、FBI、美国国家安全局等等，特别是在2013年9月，Palantir拿下美国证监会（SEC）高达1.96亿美元的大单。

　　虽然Palantir以政府项目起家，但是随后不断扩展到华尔街和各种商业公司，到2015年政府部门贡献的收入已经占到25%以下，可见在收入多元化方面进展神速。根据2013年美国大数据企业收入排行榜，Palantir已经名列第八，足见其实力。

　　但与此同时，因为担心极端主义者的报复，Palantir公司也为CEO Karp和创始人Thiel等公司高管配置了保镖，均为前海军陆战队的精英，每天24小时不离身的全方位保护。在通过技术部分剥夺美国大多数人的隐私之时，作为一种“回报”，Karp和Thiel也通过另外一种方式丧失了自己的自由和隐私。

　　（本文根据知乎专栏：数据冰山的《最神秘的大数据公司Palantir》整理而成。）