從P2P到現(xiàn)金貸“714高炮”，依賴爬蟲技術爬得的大數據，互聯(lián)網在線貸款業(yè)務蓬勃發(fā)展，但也踩上了數據來源違法、濫用的紅線。

最近數月來，數據行業(yè)迎來又一輪強監(jiān)管風暴，曾經的創(chuàng)業(yè)風口，如今不少從業(yè)者卻直接被監(jiān)管帶走調查……

一個爬蟲引發(fā)的案件

2019年的某個工作日，在一家大數據公司工作的程序員張明，接到了技術部領導的需求，要求寫一段爬蟲批量從一家互聯(lián)網公司網站的一個接口抓取數據，爬蟲開發(fā)完并測試沒有問題后，張明就將程序上傳到了公司服務器。

程序運行了一段時間，張明打算對爬蟲程序進行進一步優(yōu)化，他將爬蟲的線程數調大。完善后的程序上傳到服務器，張明跟蹤了下爬蟲的進展，發(fā)現(xiàn)運行平穩(wěn)并且速度快了很多。提交之后像往常一樣，張明就把這件事情忘了。

數天之后，張明所在的公司突然闖入一大群警察，公司全體上下200多人包括張明無差別地全部被抓。原來張明之前調大的爬蟲抓取數值，直接導致被爬取數據的互聯(lián)網公司服務器崩潰不能訪問，被爬取公司面對這種“非法入侵”的數據竊取行為，果斷決定報案處理。

在去警察局的路上，張明一直在想：這是不是搞錯了？自己只是一名技術人員，怎么也會怎么被抓起來……

上述是公眾號“純潔的微笑”整理的，關于簡歷大數據公司巧達科技今年3月被警方一鍋端的一段故事，而隨著公安部門今年以來對爬蟲公司打擊力度的加強，大數據行業(yè)也迎來了規(guī)模空前的整治風暴。

自2019年9月以來，多家涉及大數據風控業(yè)務和爬蟲技術應用的知名大數據公司相關人員被抓或被調查，包括魔蝎科技、新顏科技高管相繼被警方帶走，公信寶運營公司被杭州警方查封，貸款超市頭部機構“信用管家”辦公室被警方清查。此外，還有多家大數據風控公司人士“協(xié)助調查”，包括同盾科技、百融云創(chuàng)等多家機構。與此同時，白騎士、天機數據、立木征信、聚信立等紛紛宣布暫停爬蟲業(yè)務。

“2019年捕獲獨角獸最多的機構：紅杉、阿里、騰訊、警方?！边@是流傳在大數據行業(yè)微信群的一個段子，或可形容目前公安部門打擊爬蟲公司違規(guī)爬取網絡個人信息的力度。

隨著大數據公司人員被抓捕、被調查的消息不斷傳出，行業(yè)也掀起了一波離職潮。據了解，一些大數據公司的爬蟲團隊被解散、裁員，大量人員主動離職，其中技術人員占一多半。

“要么死掉；如果能躲過這一波強監(jiān)管、沒有出大事，也得被迫轉向其他業(yè)務?！币晃淮髷祿L控公司高管曾向媒體表示。

“今年這么難，這個行業(yè)目前的現(xiàn)狀，我也是沒想到的?！痹浽谝患翌^部大數據公司就職的李成健對消金社感慨道。

黃金時代

時間倒回到2013年9月，彼時蔣韜還是阿里巴巴集團安全部的技術總監(jiān)，是阿里風險控制和反欺詐基礎平臺和眾多基礎產品創(chuàng)立者。但是，是繼續(xù)服務阿里還是離職創(chuàng)業(yè)，這個問題他反復斟酌。

一個月之后，蔣韜做出了決定，隨后同盾科技成立，并拉上了一幫阿里的前同事加入團隊。頭頂阿里系離職員工創(chuàng)業(yè)光環(huán)，公司開業(yè)不到一個月，便獲得了千萬級的融資。當年，余額寶的發(fā)布引發(fā)了互聯(lián)網金融熱潮，同盾剛成立便站上了風口。

數據顯示，從2013年到2015年，中國市場上P2P網貸平臺數量就從800家增長至2595家，累計交易規(guī)模超過1.4萬億。

最初，P2P平臺的主流風控模式為擔保型風控，包括設立風險保證金、第三方提供擔保、實物抵押、平臺代償等方式，但這些方式缺點明顯：一方面效率低，需要很高的人力物力成本，另一方面這種風控方式也不符合監(jiān)管后來對網貸平臺“借貸信息中介”的定位。

“在互聯(lián)網金融行業(yè)興起時，互金平臺缺少數據源，因此十分需要第三方數據公司的幫助來構建基于大數據應用的線上風控體系，而那幾年也堪稱數據行業(yè)的‘黃金時代’”，作為大數據行業(yè)興起的親歷者，李成建對消金社介紹道。

在P2P監(jiān)管政策出臺后，行業(yè)增速有所放緩，但現(xiàn)金貸平臺洶涌，到2016年，國內現(xiàn)金貸平臺數量飛速增長到數千家，放貸規(guī)模達萬億量級。

在我國征信體系并不完善的背景下，P2P和現(xiàn)金貸平臺，包括銀行、消費金融公司等持牌金融機構，從獲客到風控，再到催收都需要數據的支持和輔助，而頻繁的數據調取、使用，龐大的市場需求也讓同盾科技這樣的大數據公司賺得盆滿缽滿。

新流財經曾披露的一份文件顯示，同盾科技在2016年的付費調用量已經達到4.99億次，這一數據在2017年攀升至18.08億次，到2018年進一步增長至驚人的22.87億次。與此同時，單次調用的價格也水漲船高，從2016年的0.09元/次增長至2018年的0.21元/次。

墮落之路

據了解，大數據公司的一般數據的來源主要有兩個：一類是通過合規(guī)渠道獲取，如對接政府部門、征信公司拿到數據，或得到用戶授權進行數據查詢。

據了解，2017年，當時市場上一些知名第三方數據公司，其爬蟲接口已經做到了可授權爬取上千家網站，覆蓋了幾乎所有的電商平臺、90%以上的公積金網站、主流保險網站、社保網站，同時涵蓋央行征信、運營商數據、學歷學籍、信用卡賬單、電商數據等多種信息，儼然成為了互聯(lián)網貸款市場中隱形的“征信中心”和“信息共享中心”，而這也極大降低了線上放貸的門檻。

數據源的另一類，則是從非法渠道接入，包括爬取、買入、交換、撞庫等，這是一條低成本獲取數據的捷徑，當然這種方式也更沒有底線。

2016年5月曾曝出一家新興科技公司“通付盾”起訴同盾通過不正當手段剽竊通付盾“設備指紋”技術。此外，據媒體報道，知名大數據公司摩羯科技曾開發(fā)出一種“同業(yè)爬蟲”產品，可以直接將其他現(xiàn)金貸平臺的放款額和風控數據爬出來，相當于野蠻竊取了別家的風控成果。

“不管是網站還是APP，只要有賬號密碼就可以爬，連央行的征信報告都能爬”，某數據負責人在接受媒體采訪時聲稱，“技術好，就沒有爬不到的數據”。

看到做大數據爬蟲業(yè)務賺錢，越來越多人和公司開始涌入，而這個技術本來就門檻不高，一時間渠道商、代理商也層出不窮，大家為搶奪客戶，開始打價格戰(zhàn)。

“這其實不是一個很暴利的行業(yè)?！崩畛山ο鹕绫硎?。

激烈的市場競爭，也導致一部分大數據公司開始“獨辟蹊徑”。

現(xiàn)金貸早期，客戶資質都比較好，后期騙貸和欺詐的都來了，只靠簡單的爬蟲技術，很難擋住他們。后來，有數據公司不僅爬取用戶通話記錄、芝麻信用、社保、黑名單等常見的信息維度，甚至連個人支付寶和微信的一些隱私信息也一并爬取。而部分大數據公司則更瘋狂，直接將非法獲取的數據進行交易和售賣。

近日被調查的考拉征信，被曝光其非法緩存倒賣了上億公民的個人信息，公司從上游公司獲取接口后，又將查詢接口出售，供下游公司查詢牟利。

不僅如此，部分大數據上下游的公司在通過販賣信息獲利的同時，還經營現(xiàn)金貸平臺，利用手上掌握的個人信息進行貸款推銷、軟暴力催收等。

據財新報道，這輪針對大數據風控公司的強監(jiān)管主要是由于公安機關在打擊“套路貸”時，發(fā)現(xiàn)爬蟲為套路貸爬取通訊錄、地址定位等個人敏感信息，引發(fā)命案及相關刑事調查。有接近公安部的人士認為，在此類案件中，“套路貸是主犯，而爬蟲公司是從犯”。

在大數據整治風暴下，有不少金融平臺表示，它們合作的數據接口，大部分都被切斷，尤其是各種數據來源不合規(guī)的爬蟲產品?！澳壳般y行已有明確要求，不允許使用來源不明的第三方公司產品，數據源頭必須合規(guī)合法。”某大數據公司業(yè)務負責人劉彬告訴消金社。

草莽時代落幕

“我從來沒借過高利貸，借的都是超利貸?！睌]貸老哥袁夢調侃道，他有著數十家現(xiàn)金貸平臺的“成功”擼貸經驗，基本上是一下款就卸載APP，再換一個手機號。袁夢告訴消金社，那種利息越高的他越愿意借，因為這種平臺本身就不合規(guī)，而且反正也不上征信。

“現(xiàn)在情況變了，不太好擼了?！痹瑝舯硎荆环矫嫫脚_數量少了，許多現(xiàn)金貸平臺經過這一輪的行業(yè)清洗消失了。另一方面，平臺的風控普遍變得更加嚴厲了?！爸安簧俳枇瞬挥眠€的，就憑身份證號和手機號，再填寫兩個緊急聯(lián)系人能立刻下款，現(xiàn)在不僅要身份證照片，而且有的平臺還要進行刷臉認證，尤其最近一段時間，下款更是不容易?！痹瑝舯硎?。

知名網貸系統(tǒng)供應商帝友公司的一位客戶經理告訴消金社，現(xiàn)在找他們購買系統(tǒng)，不再是給錢就發(fā)貨，而需要買家提供互聯(lián)網小貸牌照等合規(guī)資質。

“現(xiàn)在這種嚴打的環(huán)境下，那些714高炮如果還敢頂風作案，等著它們的就是被判定為‘套路貸’，然后被抓被判?！崩畛山ο鹕绫硎尽?/p>

一位業(yè)內人士表示，受爬蟲風波影響，部分第三方數據公司的數據“斷供”，目前有不少現(xiàn)金貸平臺的業(yè)務開始收縮，有的只能針對之前還款記錄良好的老客戶放款，不再新增。而且部分銀行也暫時停止了線上放貸業(yè)務。

作為一家年營業(yè)額約一億元的大數據公司，在此輪的行業(yè)整治過程中，劉彬他們公司以及客戶受到的影響不大，因為他們的主要客戶群一直是銀行等持牌金融機構，而且在數據的獲取方式上，他們不采用非法的爬蟲技術手段，而是通過接入與工商局、稅務局等能提供數據源的合作平臺來取得。

“明顯的變化是，之前那些十分在意價格的客戶，現(xiàn)在對數據的合規(guī)性更看重了。”據劉彬介紹，“感覺客戶越來越愿意從數據源頭拿東西，不愿跟渠道商、代理商合作，因為這樣能清晰地知道對接的數據是否合法合規(guī)，而這正好也是我們這類正規(guī)數據公司的機會。”

從相關政策來看，大數據行業(yè)的“緊箍咒”也越來越嚴。

2017年6月1日，《中華人民共和國網絡安全法》開始施行，其特別加強和明確了個人信息保護方面的要求?！毒W絡安全法》中明確規(guī)定，網絡產品、服務具有收集用戶信息功能的，其提供者應當向用戶明示并取得同意。未經被收集者同意，不得向他人提供個人信息。

今年年中，國家互聯(lián)網信息辦公室發(fā)布《數據安全管理辦法（征求意見稿）》，文件系統(tǒng)地規(guī)定了網絡運營者數據收集、數據處理使用等合規(guī)要求，以及強制捆綁授權、網絡爬蟲等新型數據安全問題。

消金社在一個爬蟲技術交流群發(fā)現(xiàn)，雖政策愈加嚴厲，但目前仍有不少人企圖通過違規(guī)爬取借貸平臺數據獲利，一位正在招聘爬蟲技術人員的群友表示：“爬蟲技術過硬的，而且有反爬經驗的，月薪3萬起?！?/p>

在劉彬看來，不論目前市場上還存在哪些牛鬼蛇神，之前靠野路子猛沖猛打的草莽時代已經結束，參與者只有腳踏實地，才能走得穩(wěn)、走得遠。劉彬透露，他們公司明年的業(yè)績指標會設置得更高?！?strong>在消費金融繁榮的大背景下，市場足夠大，而且經過這輪整治風暴，合規(guī)、持牌，成為行業(yè)主旋律，相信以后就是有真實數據公司‘正規(guī)軍’的天下?！?/p>

李成建對消金社表示，嚴監(jiān)管推動“良幣驅逐劣幣”的行業(yè)洗牌，“這讓從業(yè)者深刻地認識到了做事的界限在哪里，整治后的行業(yè)發(fā)展到了一個新的關口，而這也許并非壞事?！?/p>

注：文中部分受訪者為化名。

本文已標注來源和出處，版權歸原作者所有，如有侵權，請聯(lián)系我們。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。