基于hadoop的大数据运用分析.ppt

大数据行业应用分析——金融行业 金融行业 互联网 医疗行业 能源行业 电信行业 政府行业 金融行业大数据发展分析 IDC研究显示，数据是重要资产的理念已经在中国金融行业形成共识，数据的真正价值在于能够洞察企业内部规律，数据的洞察力成为金融企业的核心竞争力。在中国金融行业信息化建设中，与信息加工密切相关的大数据管理正逐渐成为与核心业务系统建设、渠道建设和前置建设同等重要的领域。 　　经过多年的发展与积累，目前中国的大型商业银行和保险公司的数据量已经达到100TB以上级别，并且非结构化数据量在迅速增长。 金融行业大数据需求背景 从未来几年看，金融行业在“十二五”时期面临发展方式转型的挑战，转型主要集中在三大方面：一，建立全面的风险管理体制，向严监管转型；二，从粗放式管理向精细化管理转型；三，从“利润为中心” 向“客户为中心”转型。 大数据在加强风险管控、精细化管理、服务创新等转型中别具现实意义，是实现向信息化银行转型的重要推动力。金融行业应首先在战略层面对大数据进行规划，积极应对大数据时代的挑战，推进并建立数据驱动型发展方式。 金融行业大数据需求分析 摩根大通基于Hadoop的大数据应用 已经开始使用Hadoop技术以满足日益增多的用途，包括诈骗检验、IT风险管理和自助服务。 150PB在线存储数据、30,000个数据库和35亿个用户登录账号。 Hadoop能够存储大量非结构化数据，允许公司收集和存储Web日志、交易数据和社交媒体数据。 数据被汇集至一个通用平台，以方便以客户为中心的数据挖掘与数据分析工具的使用。 Zions银行基于Hadoop的大数据应用 数据仓库存储了120多个不同类型的数据，包括交易日志，日志，欺诈警报，服务器日志，防火墙日志和IDS日志 跨整个企业进行数据挖掘，加快取证调查并提高欺诈侦测，以及整体安全性 利用Hadoop来存储所有数据，并对客户交易和现货异常进行判断，对可能存在欺诈行为提前预警的 基于Hadoop的安全数据仓库,迅速对来自各种源头的恶意软件威胁作出响应并对抗它们 美国地区性银行Zions Bancorp(ZIONS) * 大数据 挑战 发卡量增长迅速：2008年发卡约500万张，2010年增加了一倍。 业务数据增长迅速：随着业务的迅猛增长，业务数据规模也线性膨胀。 数据存储、系统维护、数据有效利用都面临巨大压力。 需求 可扩展、高性能的数据仓库解决方案 能够实现业务数据的集中和整合；可以支持多样化和复杂化数据分析提升信用卡中心的业务效率；通过从数据仓库提取数据，改进和推动有针对性的营销活动。 采用大数据方案后价值体现 实时的商业智能 可以结合实时、历史数据进行全局分析,风险管理部门现在可以每天评估客户的行为，并决定对客户的信用额度在同一天进行调整；原有内部系统、模型整体性能显著提高 秒级营销 Greenplum数据仓库解决方案提供了统一的客户视图，更有针对的进行营销。2011年，中信银行信用卡中心通过其数据库营销平台进行了1286个宣传活动，每个营销活动配置平均时间从2周缩短到2-3天。 EMC Green-plum 中信银行信用卡中心基于Hadoop的大数据应用 未来和基于Hadoop的Pivotal HD相融合 大数据行业应用分析——电信行业 金融行业 互联网 医疗行业 能源行业 电信行业 政府行业 ?? 随着互联网和移动互联网的发展，运营商的网络将会更加繁忙，用于监测网络状态的信令数据也会快速增长。通过大数据的海量分布式存储技术，可以更好地满足存储需求；通过智能分析技术，能够提高网络维护的实时性，预测网络流量峰值，预警异常流量，有效防止网络堵塞和宕机，为网络改造、优化提供参考，从而提高网络服务质量，提升用户体验。 提升网络服务质量，增强管道智能化 客户洞察是指在企业或部门层面对客户数据的全面掌握并在市场营销、客户联系等环节的有效应用。通过使用大数据分析、数据挖掘等工具和方法，电信运营商能够整合来自市场部门、销售部门、服务部门的数据，从各种不同的角度全面了解自己的客户，对客户形象进行精准刻画，以寻找目标客户，制定有针对性的营销计划、产品组合或商业决策，提升客户价值。判断客户对企业产品、服务的感知，有针对性地进行改进和完善。通过情感分析、语义分析等技术，可以针对客户的喜好、情绪，进行个性化的业务推荐 更加精准地洞察 客户需求，增强 市场竞争力 智慧城市的发展以及教育、医疗、交通、环境保护等关系到国计民生的行业，都具有极大的信息化需求。目前，电信运营商针对智慧城市及行业信息化服务虽然能够提供一揽子解决方案，但主要还是提供终端和通信管道，行业应用软件和系统集成尚需要整合外部的应用软件提供商，对于客户的价值主要体现在网络化、自动化等较低水