关联词：人工智能、替代数据、个人信息保护、个人信用评分、复杂网络分析、压力测试、物联网
大数据是利用高级分析技术来处理大规模、结构复杂和高频数据集，以获得高价值信息的工程领域。大数据所处理的数据集包括结构化、半结构化和非结构化数据，数据规模从万亿字节TB（Terabyte）到泽字节ZB（ZettaByte）不等。 随着人工智能、移动互联网、社交网络（Social Network）和物联网IoT（Internet of Things）等新经济领域的发展，来自于各种传感器、设备、视频、音频、网络、日志文件、事务性应用程序、Web和社交媒体的新数据源的数据规模越来越大，数据形式越来越复杂，并且，大部分数据还是实时产生并需要立即计算。
在这样的形势下，大数据概念应运而生。大数据是一个用于描述数据集的术语，其大小或类型超出了传统关系数据库以低延迟捕获、管理和处理数据的能力。
大数据的概念最早于2001年由信息技术研究和分析公司高德纳咨询公司Gartner提出。尽管如此，直到2009年，大数据这个概念才逐渐在互联网行业传播起来。知名数据科学家维克托·迈尔·舍恩伯格（Viktor Mayer-Schönberger）总结了大数据的“4V”特征，即高容量（Volume）、高速度（Velocity）、高多样性（Variety）、高价值（Value）。 i
大数据分析使分析师、研究人员和商业用户可以使用以前无法访问或无法使用的数据做出更快更好的决策。企业可以使用先进的分析技术，例如文本分析，机器学习，预测分析，数据挖掘，统计和自然语言处理，以独立地或与现有企业数据一起从以前未使用的数据源中获取新的洞察力。
金融领域是大数据应用的理想场景，大数据不仅可以用于微观信用风险分析，还可以辅助宏观金融系统性风险分析和经济决策[i][iii][iv]。
下图展示了金融大数据产品的市场参考份额。其中，组合投资和资本市场、风险模型、信贷与信用卡、实时安全是金融大数据的重要应用领域［39］。
图2.5 大数据在金融领域的应用
案例一：知名互联网金融公司ZestFinance由前谷歌和第一资本金融公司（Capital One）前员工组成。ZestFinance凭借其大规模数据量及大数据分析技术，将贷款放给信贷记录差或无信贷记录的客群。大多数美国的银行依赖费埃哲公司FICO的信贷评分，该信用评分基于15-20个变量。然而，ZestFinance则能够监测成千上万个指标，并在250毫秒内得出分析结果。
ZestFinance消费者的信用评估也是基于两个基本面的信息：消费者的还款能力和消费者的还款意愿。其不同之处在于，传统征信的数据依赖于银行信贷数据，而ZestFinance大数据征信的数据并不仅包括这些信贷数据，还包括与消费者还款能力、还款意愿相关的一些描述性风险特征数据。对这些相关性描述风险特征数据的抽取与筛选是ZestFinance的核心技术。不过，这些数据和消费者的信用状况相关性较弱，ZestFinance凭借强大的技术引擎收集更多的数据维度来加强这些弱相关数据的描述能力。这样使得大数据征信不依赖于传统信贷数据，对传统征信无法服务的信贷记录差或无信贷记录的人群进行征信，实现对整个消费者人群的覆盖［22］。
图 2.6 基于大数据的信用评估思路
案例二：美国三大征信机构之一的益博睿（Experian）开发出了跨渠道身份识别CCIR（Cross-Channel Identity Resolution）引擎利用大数据技术挖掘消费者购物行为、在线浏览方式、电子邮件回应和社交媒体活动等数据所包含的有效信息，可以满足营销人员应对社交网络、网页浏览等消费者接触点实时更新的需求。例如，CCIR可以判断商场中的某一特定消费者与关注该商场在Facebook和Twitter营销账号的消费者是否为同一个人。
[i] 维克托·迈尔-舍恩伯格，肯尼思·库克耶. 大数据时代[M]（盛杨燕，周涛译）. 浙江：浙江人民出版社，2013.
[ii] 姚前，谢华美，刘松灵，刘新海. 征信大数据[M]. 北京：中国金融出版社，2018-03.
[iii] 刘新海. 释能金融大数据：从微观、中观到宏观风险分析[R].《大数据在金融行业实用案例剖析：系列之三》. 北京：经济科学出版社，2018，09：36-57.
[iv] 国务院发展研究中心产业互联网课题组.《中国大数据应用发展报告（2017）》[M]. 北京：社会科学文献出版社，2017,12.