大数据分析“铁三角”: Teradata数据仓库、Teradata Aster与Hadoop

5/7/2013 9:45:53 PM

大数据及数据分析的火热使无数初创企业迅速步入高速成长之路,在CSDN云计算频道《Cloud Edge:2013年国际“云先锋”系列报道》中,如HStreaming、Kickboard、Concurrent这样,在某一专业细分技术方向上有所突破,并被风投所青睐的企业一批批地涌现,不胜枚举。但能够做到高市值且精专技术的企业并不多,这也是行业企业用户更为看中Teradata天睿公司的原因之一。

4月23-24日,“第13届Teradata Universe峰会”即” 2013 Teradata大数据峰会” 在北京举行。会上,CSDN云计算频道分别采访了Teradata天睿公司大中华区首席执行官辛儿伦( Aaron Hsin Teradata天睿公司国际集团总裁Hermann Wimmer,并在现场抓访了 Teradata天睿公司首席技术官Stehpen Brobst。这些针对“中国与国外行业用户应用分析、全球战略与发展形势概览、Teradata数据仓库、Aster大数据探索以及Hadoop数据存储等技术”等多个维度的讨论,描绘出数据仓库与大数据分析领域的应用进展,国内外典型行业实践经验以及国外技术的演进路线。

 

Stehpen Brobst:只要我是CTO,就一定支持开源Hadoop

在行业标准测试和创建数据库方面拥有20年从业经验的Stephen Brobst,熟悉包含SMP、NUMA、MPP在内的主流架构,并专研VLDB、DB2、Informix、Sybase、Red Brick、Non-Stop SQL和众多数据库管理系统,并成功创建过三家向数据仓库和电子商务市场提供高端数据库产品和服务企业(Tanning Technology、NexTek Solutions、Startegic Technologies&Systems)。在他看来,支持开源,利用开源技术已经成为美国主流趋势。“30年前,如果你不会Unix系统就无法成为CTO,但现在如果你构建项目时说要用Unix而不是开源,那肯定会被解雇。”

这是Stehpen Brobst针对CSDN记者所提问题:“Hadoop商业版已经数十款,你如何看待这些应用?Teradata及Teradata Aster仅支持Hortonworks么?”时的幽默回答。不止如此,作为开源技术的拥趸,Stehpen Brobst对记者说:“Teradata及Teradata Aster不仅支持Apache Hadoop、Hotortonworks,还有Cloudera。只要我还在Teradata,还是CTO,就一定支持开源,且只支持开源。对于那些硬件厂商的Hadoop商业版,我认为是短视的,对这个产业是有负面影响的。”

引发讨论的是Teradata新一代数据分析解决方案——Teradata统一数据构架(Teradata Unified Data Architecture,UDA)。作为集成平台,其整合了Teradata数据仓库、Aster大数据探索以及Hadoop数据存储,目的是打造一个拥有低成本存储平台,高性能的大数据分析平台。这其中,SQL-MapReduce专利技术和SQL-H值得关注,其使Aster Database、Teradata Database、Hadoop三者之间可以形成无缝且高效的数据移动,进而突破现有单点数据分析技术的局限,并在后续Teradata开放API的策略中进一步促成大数据生态系统的发展。

事实上,对于Hadoop,Stehpen Brobst的观点属于“实用主义”:“Hadoop的优势很明显,诸如高吞吐量负载率、便宜的存储和授权许可费用以及开源等。但是也存在着挑战,如在复杂产寻和批量作业方面性能欠佳、开发和部署成本高、业务分析师无法使用Hadoop以及不成熟、部署周期长等。对企业而言,要真正务实地看待Hadoop,更好从优势入手来应用。”

UDA就是在这样的背景下研发出来的,其关键部件是数据仓库、数据探索和数据抽取。Stehpen Brobst认为:“UDA能够更好地将Hadoop和传统的EDW优势都发挥出来。”

Hermann Wimmer:整合营销是大数据分析新热点

构建基于平台的生态系统几乎已经成为所有云计算/大数据领域企业的口号之一。不过,是成为其中应用的一员,还是能够成为搭载的平台,比拼的是绝对的实力。

在负责欧洲、中东、非洲及亚太地区业务的Teradata天睿公司国际集团总裁Hermann Wimmer看来:Teradata在大数据领域有这个实力。“最近几年,Teradata一直保持双位数增长。2012年总营收更是达到了26.65亿美元,其中12.97亿美元是来自产品技术部分,而咨询服务的收入也超过了7亿美元。尤其在金融、通信、零售、制造业、医疗、政府和旅游交通运输业等出行业方面增长极为明显。这个格局我们会继续保持,Teradata将继续专注于很强的产品技术和分析服务。”

Teradata全球专业服务团队近5000人。这一团队专注于为 企业提供分析服务。Hermann Wimmer表示:内部传统数据的快速增长,以及各种非结构化、多结构化大数据源的指数型增长,全新的分析类型和更复杂的分析需求使得企业需要更快地挖掘出数据资产价值,进而体现出三类深度需求:数据仓库、大数据分析和整合营销。具体来看:

数据仓库:整合数据基础应对分析领域竞争;
大数据分析:全新格式数据中获得丰富洞察的技术和方案;
整合营销:数据资产管理中挖掘新营销机会。

营销总监将在未来几年内获得比CIO更多的资源支持”。Hermann Wimmer举例进行了分析:之前在汽车制造行业,更多是收集相关敏感数据,对特殊情况进行预警,但下一步,Teradata会帮助汽车制造企业通过汽车遥感器收集更多不同类型的数据,进行更深度的实时分析,比如通过修车时更换部件提出相关部件的潜在风险,为汽车制造商,驾驶者以及汽车拥有者提出了更多有价值的分析与建议。再如通过对司机驾驶习惯的分析,可以确定风险状况以及保险金额。这都会成为数据再用的契机,都会为营销带来新的机会。

中国,是Teradata最为重视的市场。Hermann Wimmer对记者表示:“中国中等收入阶层(中产阶级)群体甚至大于欧洲。这一点将推动中国经济发生更有深度的变化。Teradata将在三方面对中国市场进行投入:一是研发,Teradata主要技术团队一个在旧金山的圣迭戈,另一个就是中国研发中心;二是召开像今天这样的以用户为主的Teradata Universe大会,架起行业之间深度交流和分享的桥梁;三是构建专业行业顾问和架构师,Teradata在中国有超过600名的技术服务团队。我们希望,在中国市场的发展速度要超越世界平均速度。”

辛儿伦:技术不是制约,差距在业务理解

资源的倾斜让Teradata中国团队获得了高速成长的机会。

在辛儿伦看来:“随着中国企业国际化发展,需求也更加多元化。现在Teradata已经为中国的交通运输、通信、金融、制造、电力、高科技、电子商务、社交媒体和医疗等十大行业的用户提供了专业的数据分析的服务。针对不同应用场景下的个性化业务需求,我们不仅提供了大数据技术与架构,还提供了非常专业的实施建议。”

精专技术与服务使得Teradata在优势行业拥有诸多成功案例。本次峰会上,包含中国移动、中国电信、中国工商银行、中国光大银行、中国国际航空公司、法航-荷航集团、台湾国泰世华银行、DHL、挪威DNB银行、eBay、捷克商业银行、LinkedIn、汉莎航空、俄罗斯Magnit零售连锁、加拿大皇家银行、Verizon电信、Volvo汽车在内的30余位来自行业企业用户分享了行业端的最佳实践。

谈到国内同类型行业企业在大数据分析应用上的差异,辛儿伦认为:“在技术方面,我们的某些企业已经足以和国外同类型企业比肩,甚至在一些层面细节处用的更好。比如2012年在美国华盛顿特区召开的Teradata全球用户大会上,中国工商银行展示的在线交易数据处理和在线分析数据处理能力就很出色,并获得卓越运营奖。而在另外一些传统企业中,技术并非制约,而对业务的理解才是差距。”

围绕大数据分析,需要多方数据资源。一方面,是企业内部的财务、销售、客户管理、产品、渠道、售后服务等各部门之间数据需要实现整合,实现跨部门的协作;另一方面,非企业核心资源的,来自社交明星、意见领袖的只字片语都会带来巨大影响,这类新数据需要平台对接,甚至在更为开放体系中得到实时分析。Teradata数据仓库、Teradata Aster大数据探索以及Hadoop所打造的UDA也会开放API,与更多企业,更多伙伴,共建大数据分析的生态系统。