来源：至顶网色色五月

亚马逊云科技首席引申官Matt Garman在re:Invent年度大会上向拉斯维加斯的60000名与会者和另外400000名在线不雅看者发表了长达三小时的主题演讲，让他们从这位新领导东谈主那边听到了好多音信。Garman是在2006年加入AWS的，本年早些时候驱动担任首席引申官。

此次大会特大地向构建者和耕作者，有1900场现场会议，3500名演讲者，好多会议方式是由客户、合营伙伴和AWS众人主捏的。Garman在他的主题演讲中告示了一系列旨在让耕作者职责更放荡、更高效的进展。

亚马逊云科技首席引申官Matt Garman

以下是他共享的九项关键革命：

AWS将在AI规模发扬伏击作用

Garman在演讲驱动时告示，AWS最新的Trainium2芯片和EC2 Trn-2实例将全面上市。他将这些实例描摹为生成式AI最强劲的实例，而这要归功于AWS里面耕作的定制处理器。

他说，Trainium2的性价比比面前由GPU驱动的实例越过30%到40%。Garman 说：“这些是专为顶端的AI锻真金不怕火和推理等苛刻职责负载筹办的。”Trainium2为客户提供了“更多聘用，让他们不错议论那些最顺应他们正在处理的职责负载的实例。”

Garman暗示，Beta测试显现出“令东谈主印象深入的早期收尾”。他说，进行测试的组织（包括Adobe、Databricks和高通）皆瞻望这些新芯片和实例将提供更好的收尾和更低的总领有资本。他说，一些客户瞻望这比替代决议要松懈30%到40%的资本。“高通将使用这些新的芯片提供不错在云表锻真金不怕火然后在旯旮部署的AI系统，”他说。

告示这一音信的时候，好多媒体将Trainium2视为Amazon念念要与Nvidia开战。当在分析师问答方式被问及这个问题的时候，Garman强调说事实并非如斯。AWS耕作自有芯片的筹办是让扫数这个词AI芯片商场变得更大，让每个东谈主皆能从中获益。这等于Amazon涉足处理器行业的一种方式，莫得意义以为它会调动合营伙伴方式，越来越多的Nvidia职责负载运行在AWS云中，这少量不会调动。

新行状器可容纳广大的模子

如今的模子依然变得异常广大何况异常快，具罕有千亿到数万亿个参数，因此无法放在单个行状器上。为了搞定这个问题，AWS告示推出了EC2 Trainium2 UltraServers。它们湮灭了4个Trainium2实例（64个Trainium2芯片），扫数实例皆通过高速的、低延长的Neuronlink相互湮灭。

这为客户提供了一个超等节点，这个超等节点的计较能力杰出83 petaflops。Garman暗示，这将“对延长和性能产生巨大的影响”，使异常大的模子大致加载到单个节点中，从而提供更好的延长和性能，而无需将其漫步到多个节点上。Garman暗示，Trainium3芯片将于2025年上市，它将满足新一代AI不休变化的需求，给客户提供推理所需的环境。

讹诈Nvidia的Blackwell架构

Garman暗示，AWS是客户使用Nvidia Blackwell架构最浅易、亦然最具资本效益的一种方式。AWS公布了基于Blackwell的全新P6系列实例，这些新实例将于2025岁首推出色色五月，采纳Nvidia最新的GPU，计较速率将比刻下一代GPU快2.5倍。

AWS与Nvidia在运行生成式AI职责负载方面的合营取得了紧要进展。Bedrock为客户提供了模子聘用：它不是一个总揽了扫数模子的模子，而是各式模子的单一来源，包括AWS新发布的Nova模子。应用和生成式AI应用之间不会有区别，生成式AI将成为每个应用的一部分，讹诈推理来增强、构建或更动应用。

Garman说，Bedrock之是以能引起客户的共识，是因为它提供了把生成式AI集成到分娩应用中所需的一切，而不单是是看法考据。他说，客户驱动看到它带来的信得过影响。开头的生物本事和制药公司Genentech但愿通过使用科学数据和AI快速识别和定位用于练习的新药物和生物标志物，以加速药物发现和耕作。寻找扫数这些数据，就需要科学家搜索好多的外部来源和里面来源。

Genentech使用Bedrock筹办了一个生成式AI系统，让科学家不错接头商酌数据的详备问题，系统会从广大的库中识别符合的数据库和论文，空洞细察和各式数据源。

它回想了获取信息的来源并援用来源，av电影网这对于科学家开展职责异常伏击。Genentech的科学家昔日需要数周时分才能完成一次查找，而当今只需几分钟即可完成。

据Garman称，Genentech瞻望将把蓝本需要5年时分的手动职责杀青自动化，加速提供新药。他说：“开头的ISV如Salesforce、SAP和Workday，他们正在把Bedrock深入集成到他们的客户体验中，以提供生成式AI应用。”

Bedrock模子索取简化了复杂的过程

Garman暗示，AWS让企业更容易采纳大型的、功能强劲的前沿模子，发送他们建议问题的教导。“然后，你采集所罕有据和由此得出的谜底，并讹诈这些输出和问题来锻真金不怕火一个较小的模子，使其成为某一特定规模的众人。这么，你就会得到一个更微型的、更快的模子，这个模式知谈怎么回复一组特定的问题，这对于提供众人模子黑白常灵验的，但需要机器学习的参与。你必须料理扫数的数据职责流和锻真金不怕火数据，必须诊疗模子参数，议论模子权重，这异常有挑战性，这时候Bedrock中的模子索取就会发扬作用了。”

索取后的模子不错比索取它们的模子快500%，资本低75%，这是一个巨大的各异，“Bedrock不错作念到这少量，”他说。这种资本各异不错将生成式AI的投资报告率从过于立志而无法干涉分娩，转机为异常有价值。你通过应用发送Bedrock示例教导，它就会完成扫数的职责。

但取得正确的模子只是第一步。“生成式AI应用信得过的价值在于将企业数据与智能模子联结在一谈，这么，你就会取得信得过卓尔不群且好奇的收尾，这些收尾对你的客户至关伏击。你的数据和IP确乎发扬了伏击的作用，”Garman说谈。

AWS膨大了Bedrock对各式方式的营救，添加了新的矢量数据库举例OpenSearch和Pinecone。Bedrock使用户大致取得正确的模子，容纳企业数据，并为应用不错作念什么以及反馈是什么设定一个范围。

让客户大致部署带有护栏的、负株连的AI

Bedrock Guardrails护栏不错放荡界说应用的安全性并实施负株连的AI查验。Garman说：“这些是你的模子指南，你只但愿你的生成式AI应用褒贬相干主题。举例，假定你有一个保障应用，客户来接头你领有的各式保障居品，你很欢笑让它回复商酌计策的问题，但你不但愿它回复商酌政事的问题或提供医疗建议，对吗？你念念要这些护栏说，‘我只但愿你回复这个规模的问题。’”

Garman说，这对于耕作分娩应用来说是一项伏击的能力。他阐发说：“这等于Bedrock为如何此受接待的原因。前年，好多公司皆在为生成式AI应用构建POC，而像Guardrails这么的功能并不那么伏击。让模子‘作念很酷的事情’是不错的。但是，当你将生成式AI深度集成到你的企业应用时，在转向分娩应用时你就必须领有好多这么的功能。”

让耕作者更容易耕作

Garman说，AWS但愿匡助耕作者进行革命，让他们解脱无区别的繁重职责，这么他们就不错专注于创造性的事情，“让你正在构建的东西变得惟一无二”，而生成式AI等于这种能力的一个巨大加速器。它让耕作者不错专注于这些部单干作，推迟一些无区别的繁重职责。AWS在2023岁首次推出Q Developer，它对耕作者来说等于一位“AWS众人”，是“软件耕作最强劲的生成式AI助手”。

Q Developer匡助Datapel Systems“杀青了高达70%的收尾普及，镌汰了部署新功能所需的时分，更快速地完成了任务，最大摈弃地减少了重迭操作”，Garman说。

但这不单是是对于收尾。Financial Industry Regulatory Authority (FINRA)通过使用Q Developer匡助创建性能更好的、更安全的软件，代码质地和完整性提高了20%。Garman说，Amazon Q“在商场上扫数多行编码助手中，领有最高的认同率”。

关联词，编码助手只是大宽阔耕作者所需功能中的一小部分。AWS的研究标明，耕作者每天只花一个小时进行编码，其余时分花在其他端到端的耕作任务上。

Amazon Q的三个新自主代理

据Garman先容，用于生成用户测试、文档和代码审查的自主代理应今依然全面上市。第一个自主代理让Amazon Q大致自动生成端到端的用户测试，讹诈高等代理和扫数这个词格式的常识为耕作者提供全面的测试遮蔽。

第二个自主代理不错自动创建准确的文档。Garman说：“它不单是为新代码这么作念，Q代理也不错应用于留传代码。因此，若是代码库莫得完好纪录，Q也不错衔接代码在作念什么。”

第三个新的Q代理不错引申自动代码审查。它将“扫描罅隙，标记可疑的编码模式，以致识别潜在的开源软件包风险”，笃定它以为部署风险的位置，并建议缓解步调以使部署更安全。

“咱们以为这些代理不错大大减少花在信得过伏击、但可能毫无区别的任务上的时分，让耕作者把更多时分花在那些升值活动上，”他说。

Garman还告示了“Q Developer和GitLab之间的深度集成”。Q Developer功能当今依然深度镶嵌GitLab平台，“这将有助于营救好多Duo Assistant的主流方面”，团队不错探听Q Developer功能，这些功能在GitLab职责历程中以原生方式提供。Garman暗示，跟着时分的推移，翌日还会添加更多的功能。

大型机当代化

Q Developer的另一项新功能是引申大型机当代化，Garman称这是“迄今为止最难挪动到云中的功能”。Q Transformation for Mainframe提供了多个代理，不错匡助组织简化这种复杂且一样令东谈主不知所措的职责历程。“它不错进行代码分析、筹办和重构应用。大宽阔大型机代码皆莫得很好的文档纪录。东谈主们罕有百万行的COBOL代码，但不知谈这些代码是干什么用的。Q不错获取留传代码并构建及时文档，让你了解它的作用，它不错匡助你了解要当代化哪些应用。”

Garman暗示，面前还不行能将大型机挪动酿成“一键式的过程”，但使用Q不错将其酿成“捏续几个季度的过程”，而不是需要好几年的时分。

集要素析

Garman先容了下一代Amazon SageMaker，称其是“满足你所罕有据、分析和AI需求的中心”。他说，AWS将通过添加“最全面的数据、分析和AI器用集”来膨大SageMaker。SageMaker膨大了分析功能，当今提供“快速分析、数据处理、搜索数据准备、AI模子耕作和生成式AI所需的一切”，以杀青企业数据的单一视图。

他还先容了SageMaker Unified Studio，“一个单一的数据和AI耕作环境，允许你探听组织中所罕有据并使用最顺应这种职责的器用对其进行操作”。Garman暗示，面前处于预览阶段的SageMaker Unified Studio“整合了分析师和数据科学家面前在AWS中各式安靖职责室使用的功能”，它提供了安靖的查询裁剪器和各式可视化器用，举例EMR、Glue、Redshift、Bedrock和扫数现存的SageMaker Studio功能。

即使有了扫数这些新址品和升级居品、搞定决议和功能色色五月，Garman仍原意会推出更多居品。