天天观点:亚马逊云科技发布两项新功能帮助客户迈向Zero-ETL未来
Amazon Aurora zero-ETL与Amazon Redshift 集成的功能助力客户近乎实时地分析 PB 级交易数据,无需自定义数据管道
面向 Apache Spark的Amazon Redshift集成功能帮助客户在使用亚马逊云科技的分析和机器学习服务时可以更快更轻松地通过Apache Spark 应用程序访问到Redshift上的数据
(相关资料图)
亚马逊云科技在2022 re:Invent全球大会上发布两项全新的集成功能,使客户可以连接和分析多地存储的数据,无需在不同服务间进行数据迁移。客户可以使用Amazon Redshift近乎实时地分析Amazon Aurora中的数据,无需在不同服务之间提取、转换和加载(ETL)数据。客户还可以使用亚马逊云科技的分析和机器学习服务(如 Amazon EMR、Amazon Glue和Amazon SageMaker)在Amazon Redshift的数据上轻松运行 Apache Spark应用程序。这两项新功能共同帮助客户在亚马逊云科技上迈向一个"Zero-ETL的未来"。
"当前,客户管理的数据既庞大又复杂,这意味着他们不能只用单一技术或几个工具来分析和探索这些数据。我们的许多客户都通过亚马逊云科技的众多数据库和分析服务从数据中提取价值。确保他们能够使用正确的工具完成工作,对于他们的企业成功非常重要。"亚马逊云科技数据库、分析和机器学习副总裁 Swami Sivasubramanian表示,"今天发布的新功能帮助我们的客户在亚马逊云科技上迈向一个‘Zero-ETL的未来",减少在不同服务间手动迁移或转换数据的工作。无论企业和数据的规模有多大,复杂度有多高,通过为客户消除 ETL 和其它数据迁移任务,我们都能助力客户专注于分析数据,面向业务获取新的洞察。"
数据是所有应用程序、流程和业务决策的核心,也几乎是每个企业数字化转型的基石。但是,现实世界的数据系统通常既庞大又复杂,各种数据分散在多个云服务和本地系统中。许多企业坐拥大量数据,希望最大限度地从数据中获得价值。亚马逊云科技提供了一系列专门构建的工具,例如 Amazon Aurora用于将交易数据存储在与 MySQL 和 PostgreSQL 兼容的关系数据库中,Amazon Redshift用于在PB级数据上运行高性能数据仓库和分析工作负载。但要真正实现数据价值最大化,客户需要这些工具无缝协作。因此,亚马逊云科技投入开发了基于Zero-ETL理念的功能,例如 Amazon Aurora ML 和 Amazon Redshift ML,让客户可以在机器学习用例受益于Amazon SageMaker的功能,而无需在不同服务间迁移数据。此外,亚马逊云科技确保可以从流式服务(如Amazon Kinesis 和 Amazon MSK)向广泛的数据存储服务(如Amazon S3和Amazon OpenSearch Service)无缝注入数据,从而助力客户及时分析数据。亚马逊云科技数据库和分析产品组合性能卓越,集成深入,在此基础之上此次发布的新功能会助力客户更快、更轻松、更经济高效地访问和分析存储在亚马逊云科技上的数据。
Amazon Aurora zero-ETL与Amazon Redshift 集成的功能助力客户轻松使用Amazon Redshift对 Amazon Aurora中的交易数据进行近乎实时的PB级分析
企业希望更好地了解核心业务驱动因素,制定战略以增加销售额、降低成本、获得竞争优势,因此,近乎实时地从购买、预订和金融交易等交易数据中获得洞察的需求不断增加。当前,许多企业用以分析交易数据的解决方案分为三部分:用关系数据库存储数据,用数据仓库分析数据,并用数据管道在关系数据库和数据仓库之间提取、转换和加载(ETL)数据。数据管道构建成本高昂且难以管理,需要开发人员编写自定义代码,并且持续管理基础设施以确保其按需扩展。一些公司甚至需要投入整个团队以完成这项工作。此外,用这种方式准备好数据可能需要几天的时间,而且间歇性的数据传输错误会影响客户获得稍纵即逝的洞察,甚至错失商机。
借助Amazon Redshift集成的Amazon Aurora zero-ETL功能,交易数据在写入Amazon Aurora后的几秒钟内可以自动连续复制,使其在Amazon Redshift中即时可用。一旦数据在Amazon Redshift中可用,客户立即可以开始分析数据,并且应用数据共享和Amazon Redshift ML等高级功能获得全面的预测性洞察。客户可以将数据从多个Amazon Aurora数据库集群复制到同一个Amazon Redshift实例,跨多个应用程序获得洞察。如此,客户可以使用Amazon Aurora支持交易数据库需求,使用 Amazon Redshift进行分析,无需构建或维护复杂的数据管道。
面向Apache Spark的Amazon Redshift集成功能帮助客户在使用亚马逊云科技的分析和机器学习服务时可以更快更轻松地通过Apache Spark 应用程序访问到Redshift上的数据。
许多开发人员使用Apache Spark(一种用于大数据工作负载的开源处理框架)来支持各种分析和机器学习应用程序。当前,亚马逊云科技支持在Amazon EMR、Amazon Glue和Amazon SageMaker上运行 Apache Spark,功能完全兼容,优化后的运行时间比开源版本快3倍。客户通常希望直接从这些服务中分析Amazon Redshift中的数据。他们需要经历复杂、耗时的过程查找、测试和认证第三方连接器,以在他们的环境和Amazon Redshift之间读取和写入数据。即使找到连接器,客户还必须管理中间的数据暂存位置(如Amazon S3),以便从Amazon Redshift读取和写入数据。所有这些挑战都增加了操作的复杂性,使客户难以充分利用Apache Spark。
面向Apache Spark的Amazon Redshift集成功能使开发人员可以轻松地使用亚马逊云科技支持的分析和机器学习服务,在Amazon Redshift数据上构建和运行Apache Spark应用程序。该集成功能由亚马逊云科技认证、打包和支持,消除了与第三方连接器相关的繁琐而且容易出错的过程。开发人员可以使用流行的语言框架(如 Java、Python、R和Scala),在几秒钟内开始从基于Apache Spark的应用程序对 Amazon Redshift 数据运行查询指令。中间数据暂存位置是自动管理的,客户无需在应用程序代码中配置和管理这些位置。
从个人和小型企业到政府机构和全球品牌,Adobe使每个人都能创造和交付卓越的数字体验。"Adobe 的使命是通过数字体验改变世界,在当今世界,这意味着拥有能够提供深刻和实时洞察的分析工具。" Adobe Acrobat Sign 首席科学家Jack Lull表示,"作为 Amazon Aurora 的客户,我们非常欢迎Amazon Redshift集成的Amazon Aurora zero-ETL功能。它将为我们不断扩大的Acrobat Sign 客户群提供新的洞察和更快的分析能力,并随着他们用量的增加而同步增长。所有这些都不需要我们自己的团队做日常维护。"
Infor是商业云软件和特定行业ERP解决方案的全球领导者。"在Infor,我们使用亚马逊云科技构建和部署现代化的工具,帮助客户转型其业务并加速创新,其中包括我们最新提供的面向客户行业云数据的托管数据仓库服务,以帮助客户通过高级分析和机器学习更快地做出决策。"Infor云服务高级副总裁Jim Plourde表示,"我们很高兴使用Amazon Redshift集成的Amazon Aurora zero-ETL功能,它将让Amazon Aurora中的交易数据近乎实时地提供给Amazon Redshift,减轻我们的运营负担。现在,我们既可以受益于Amazon Aurora用作关系数据库管理系统的性能,又可以轻松利用 Amazon Redshift的分析和机器学习功能实现新的托管数据仓库服务。"
高盛集团是一家领先的全球金融机构,为包括企业、金融机构、政府和个人在内的庞大而多元化的客户群提供投资银行、证券、投资管理和消费者银行业务等广泛的金融服务。 "我们的重点是为高盛内所有用户提供自助式数据访问。当在整个金融服务行业开展协作时,我们通过开源数据管理和治理平台Legend可以助力用户开发以数据为中心的应用程序,并且获得数据驱动的洞察。"高盛首席数据官Neema Raphael 表示,"通过面向Apache Spark的Amazon Redshift集成功能,我们的数据平台团队以最少的定制化操作就可以访问Amazon Redshift数据,实现零代码ETL,使我们更有能力在工程师收集完整及时的信息时,让他们更容易专注于完善其工作流。由于我们的用户现在可以轻松访问Amazon Redshift中的最新数据,我们将能实现更高的应用程序性能和更强的安全性。"
您可能也感兴趣:
为您推荐
辽宁扩大缓缴社保费政策实施范围 补缴期间免收滞纳金
增额终身寿险成银保市场上的黑马 中途退保恐会损失保费
保险公司纷纷探索转型之路 聚焦细分业务、推出新产品
排行
最近更新
- 天天观点:亚马逊云科技发布两项新功能帮助客户迈向Zero-ETL未来
- 尿频尿急是什么原因?女性尿频尿急要警惕妇科炎症吗?
- 心脏的位置在哪里?年轻人心肌梗塞的前兆是什么?
- 剧烈运动是什么样的运动?晚上做什么运动减肥?
- 儿童早餐吃什么?适合学生的快速早餐汇总
- 胃疼30秒止疼法是什么?胃疼吃什么食物止疼?
- 什么是高胆红素血症?女性胆红素偏高的原因有哪些?
- 止咳化痰方法有哪些?为什么咳嗽不建议喝梨炖冰糖?
- 脖子淋巴癌早期症状有哪些?淋巴结多大怀疑是肿瘤?
- 雅客智慧在DFA亚洲最具影响力设计奖2022中荣获 铜奖
- 今日快讯:美国单日确诊100万以上,为什么美国佬不怕感染?
- 基围虾苗能吃馒头吗?
- 精选!泰迪能吃基围虾吗?
- 基围虾别料怎么做?
- 快播:上午买的基围虾下午可以吃吗?
- 快讯:安阳银保监分局“四步走”引领中小商业银行践行高质量...
- 人保财险天津市分公司连续第八年护航中国(天津)国际汽车展览会
- 【环球快播报】进出口银行天津分行助力东疆船舶租赁业务
- 世界快看:日日顺关联交易高独立性成疑:毛利率不足8%,53项...
- 实时:望圆科技ODM模式创新能力偏弱:研发费用率大降,正遭专...
- 全球今头条!平顶山银保监分局巩固脱贫攻坚成果 全面推进乡...
- 全球最资讯丨中旭未来“渣渣灰”式营销三年花百亿:毛利率大...
- 世界通讯!中国人寿内乡支公司弘扬雷锋精神 践行志愿服务
- 泰禾集团:因与光大信托纠纷1.32亿股股份被拍卖
- 天天观天下!奥园集团公开招标:出让奥园健康29.9%股权
- 东方证券:非公开发行公司债获上交所挂牌转让无异议函
- 全球热推荐:咸阳城投5亿元超短期融资券将付息兑付 利率4.8%
- 【环球时快讯】板栗的成熟季节,如何挑选优质板栗?
- 当前聚焦:“栗子季”到了,在挑选栗子时需要注意什么?
- 环球今日讯!板栗栽培技术?
今日要闻
- 天天观点:亚马逊云科技发布两项新功能帮助客户迈向Zero-ETL未来
- 泰禾集团:因与光大信托纠纷1.32亿股股份被拍卖
- 天天观天下!奥园集团公开招标:出让奥园健康29.9%股权
- 东方证券:非公开发行公司债获上交所挂牌转让无异议函
- 全球热推荐:咸阳城投5亿元超短期融资券将付息兑付 利率4.8%
- 世界快看:德信中国:美债券退市未支付到期本金3.483亿美元及利息不会产生重大影响
- 天天关注:有公司新冠产品贡献七成收入 剔除相关业务还能在A股“狂奔”吗
- 世界微头条丨B站开启新一轮裁员?回应:部分业务调整,无大规模裁员
- 卫龙12月15日港股上市,九成多销售收入依赖经销商
- 热头条丨Amber Group再次裁员近百人