花旗集团基于Sybase IQ的在线历史数据存档系统

2019-11-04 01:31:23

字体：大中小

来源：转载

供稿：网友

    借助于在线历史数据存档系统，花旗集团(Citigroup)现在可以有效地实时存储和分析大量的业务数据。

    “利用Sybase IQ，用户可以实时查询存档数据，或者将其重新导入交易数据库中，假如需要的话（比如说发现了错误），可以修改数据并重新归档。所有在交易数据库中的修改都可以被跟踪和审计。”----Szafran Athey /高级副总裁兼CitiTech Frankfurt总经理(Citigroup下设的专门提供IT服务的部门)

    综述

    Citigroup在德国建立了一个新的在线历史数据存档系统，存储了多年的交易记录。用户可以快速选择和分析历史数据，并生成报表。

    商业挑战

    法律规定所有的公司，尤其是上市公司必须越来越具体地记录商业交易数据。存档的年限越来越长，同时还要可以快速恢复出来以备不时之需。传统的以纸张和一般电子文档形式存档的方法已显得不堪重负。

    解决方案

    Citigroup利用基于Sybase IQ产品的在线历史记录存档系统取代了以往的静态存档系统。

    系统效果

大量的数据被高效地存储起来，压缩比达到惊人的43% 。
达到了存储10年交易数据的目标。
可以快速分析不断增长的历史数据，并且假如需要，可以对这些数据进行处理。
在运营部门的员工可以无须IT部门的支持自行对历史数据进行查询。

    行业

    金融服务

    公司背景

    Citigroup拥有全世界最大的零售银行，根据用户的财务需求为其量身定做专业的解决方案。Citigroup在德国拥有近300个分支机构。该银行隶属于Citigroup----世界上最大的金融服务提供商，在五大洲的超过100个国家设有办事机构，拥有275，000名雇员和2亿用户。Citigroup在其德国的零售银行部门雇用了超过5900名员工，并拥有3百万用户。

    历史数据不再沉睡

    大约在两年以前，由于法律的变更和对数据保存需求的不断加大，Citigroup 全球市场部需要重新审阅其在德国的数据保留政策。所有部门都被要求分析自身的业务流程并确定哪些数据需要被存储起来以备将来的治理需求、这些数据的保留时限、需要访问数据的级别。数据保留期限因数据类型不同而定，交易、财务报表、客户帐务数据、信用报告等等都会有不同的时限。例如，人力资源数据需要保存30年，而交易信息只需保存10年。以天天12,000笔证券交易量计，可以很方便地估算出多年的数据量将是如何的巨大。

    更严格的法律约束

    政府及行业治理机构总是不断地对公司的存档治理人员提出新的要求。公司全球治理运营模式也不断向着集中化方向发展。而数据保存策略对于以上这些要求而言是至关重要的。

    Sarbanes-Oxley Act (SOA) 法案，于2002年7月在美国通过，在此之前的会计丑闻对此起了推动作用。SOA用于保护上市公司的投资者，避免其利益被公司治理人员的欺诈行为所损害。这个法案将更仔细地监控相关的证券交易数据，同时必须在规定的时限内保存，而且在需要的时候还必须可以快速恢复并被访问。

    专家一致认为Sarbanes-Oxley法规将产生新的国际标准，并对全球公司治理模式带来影响。这个法律最基本的条款同时还覆盖那些在美国上市的公司的海外机构。而且，通常可以假设假如必要的话那些大的审计机构可以对公司使用更严格的标准，而SOA并未直接提供这些标准。在同一时间，欧洲也颁布了类似的法律。

    其实无论有无这些法规，Bundesanstalt für Finanzdienstleistungsaufsicht (BAFin ?C German Financial Supervisory Authority，德国金融监管局) 和其它监管机构对于数据保存已有极为严格的政策。尤其在2001年9月11日后颁布了一些新的规定，例如：一些国家要求保留过去3到4年的贸易和交易的纪录。税务机关同时要求公司不仅保存很长时间的财务数据，还要同时保存生成资产负债表的原始数据，以便将来审计。最后，法院亦保护投资者获得过去发生的交易行为信息的权利。所有这些法规对于不同类型的数据的保留期的要求都不尽相同。

    当过去的交易被记录下来后，数据不断地累积起来。当数据保留时间越来越长时，对于存储空间的需求也变得永无止境。假如存储的文件仅仅是简单的堆放在一起，这还不是什么大问题。然而，现在不断涌现的需求是要能够快速恢复历史数据以便于在线访问。同时这意味着不仅仅是单据、合同和人力资源文档等，还包括日常业务数据----e-mails、业务系统产生的交易数据、股票交易双方通信往来信息和更多的数据都要被很好地治理起来。这个过程将产生海量的数据，而且还要确保能够快速恢复数据，并在线获得特定的信息。

    修正的数据保留政策

    “这就是Citigroup需要一个全新的存档治理系统的原因。”，Szafran Athey说, 他是集团第一副总裁兼 CitiTech Frankfurt总经理(Citigroup中专门提供IT服务的部门)。“过去使用的方式可以满足以前的需求，如书面文件存档、数据库摘录和磁带连续备份文件等。然而由于数据规模不断增长、保留期限越来越长和检索要求越来越快，原来的方法已不堪重负，而且安全地保存备份磁带将会耗费大量人力物力，所以成本会十分高昂。对于数据查询同样如此，假如要查询几年前的数据，那么由于软件系统和硬件系统版本有可能升级，后台系统的兼容性难以保证，将很难恢复这些数据。由于这个原因，我们不得不保存所有的软件版本。以前是无法快速访问特定历史数据、的。用户仅仅可以在磁带上查询一两年前的数据，而且需要大量的时间。但在十年以上的数据中搜索特定信息是几乎不可能的。”

    基于法规的要求，Citigroup需要能够快速提供历史数据----例如在过去4年中特定用户的所有股票交易记录，这可能意味着数千条的纪录。实时业务系统本身一般仅仅在线存储有限的交易数据，有可能最多6个星期的交易数据，而且已存档的数据必须是可更改的，比如Citigroup在交易记录存档后发现交易有错误（例如错误的价格或副本），当然这种情况很少发生，但系统必须提供修正的功能。

    Citigroup因此将面对这种快速定位和修改大量数据的挑战，例如：像处理当前数据一样处理存档数据----当然，由于性能的原因不能将这些历史数据存储在操作型数据库中。因此无缝集成数据仓库和交易型数据库将是必要的步骤。

    利用Sybase IQ实现历史记录存档系统

    Citigroup因此决定用动态存档系统代替以前的静态存档系统。治理层选择了Sybase IQ作为实施平台。IQ入选的最重要的原因是，Szafran Athey说：“该产品使用的技术即使在针对海量数据的查询操作中也能提供极短的响应时间，同时数据还可以以非常高的压缩比进行高效的存储。”传统的关系型数据库是为了事务处理而优化。当用户执行一个查询时，是通过键值（索引）对应特定的行来选择数据。

    然而这将产生额外的开销。由于每次都需要读取整行的数据，反应时间将随着数据量的增长而加长。Sybase IQ，另辟蹊径，利用垂直存储而不是以行为单位存储。为了搜索特定的字段，无需搜索数据行，只需查找相关的数据列，这会使得数据访问更加快捷。在每一个列上形成特定的索引，这样可以减少由于分割索引带来的问题。同时，数据也可以被更高效地压缩存储起来。

    Szafran Athey 为此列举了一些数字加以说明。“Citigroup德国现在存储着4年的交易数据，共计1320 万条记录。每一条记录包括388 字节。在通常的SQL数据库中，这些数据由于索引的冗余而膨胀到405字节。与此相反，Sybase IQ 数据库仅仅用了208字节存储同样的信息，这意味着压缩比为43%。我们的目标是利用Sybase IQ，使10年的交易数据可以随时在线访问。”

    “尽管Sybase IQ存储数据的方式大相径庭，但它拥有和其它关系型数据库一样的应用程序接口。这一点也是我们决定购买它的重要因素。” Szafran Athey说，“这意味着可以用SQL直接访问数据。每一个应用程序因此可以无缝地访问当前和历史数据。用户可以实时查询存档的数据，假如需要（例如发现错误），还可以将数据导出至关系型数据库中（应用中使用ASE），修改数据并且在此将其归档。在交易数据库中对交易记录进行修改，可以跟踪这些更改。历史数据从此不再沉睡。”

    成本节省还表现在其它方面，如业务部门的最终用户现在可以自己访问历史数据，这在以前必须借助于IT部门的人员来完成。存档的过程现在完全自动化了，符合复杂的存档条件的数据将以天为基准，由ASE导出至IQ数据仓库，这些条件包括：交易的期限、记录被最后修改的时间、结算时间等。

    更高质量的查询服务

    在线历史记录存档系统基本上是为了响应外部法规的需要而实施。“在实际应用中，这些历史记录同时为我们促进业务打开了新的思路”，Szafran Athey说道。“明显的例子是标准在线报表。以前，假如忘记或由于某种原因没有作报表，用户就无法在数据存档以后，再利用这些数据生成报表。然而现在这已经不成问题。大量新的分析应运而生，无需考虑由于时间和成本的因素必须马上生成。基本上，对过去活动的系统分析没有任何的限制----无论是统计、市场趋势分析和客户关系治理、或是流程自动化----现在这些历史数据可以被实时地在线分析。”

    不仅如此，业界对“标记数据库”的梦想已经成为现实，该数据库可以记录一只股票在一个交易日中的所有价格变化。Szafran Athey说：“因为在这种情况下，将会产生大量的数据，我们现在只记录日收盘价。然而，理论上现在的历史记录数据库可以让我们记录长达一年，而不是仅仅一天的单只股票的日价格变动。这将为我们的业务和客户增加价值。”

    外部的需求也在水涨船高。监管机构知道现在可以要求公司去实现那些在以前无法实现的工作和流程，这多亏高技术的应用。而在线历史记录存档系统将成为行业标准。

上一篇：互联网光纤通道协议（iFCP）整合光纤通道和IP

下一篇：湖北税务系统建设浪潮双机存储解决方案助力