414
模型扩展规模空前，并新增推理优化工具及额外的数据功能，为客户提供了更大的灵活性和控制力，更快构建和部署生产级生成式AI
北京2024年12月6日 /美通社/ -- 亚马逊云科技在2024 re:Invent全球大会上，宣布推出Amazon Bedrock的多项创新功能。Amazon Bedrock是亚马逊云科技一项完全托管的服务，旨在利用高性能基础模型构建和扩展生成式人工智能（AI）应用程序。此次发布进一步彰显了亚马逊云科技对模型选择的承诺，同时优化了大规模推理的执行方式，帮助客户从数据中挖掘更多价值。
在新模型目录中探索Amazon Bedrock Marketplace模型和Amazon Bedrock完全托管的模型
- 亚马逊云科技即将成为首家提供Luma AI和poolside模型的云服务提供商。亚马逊云科技还将把Stability AI的最新模型添加至Amazon Bedrock，并通过全新的Amazon Bedrock Marketplace功能为客户提供100多个热门、新兴及专业模型的访问权限，客户可根据自身用例找到最合适的模型组合。
- 全新的提示词缓存功能和Amazon Bedrock Intelligent Prompt Routing提示词智能路由功能帮助客户更轻松、更经济地扩展推理业务。
- Amazon Bedrock Knowledge Bases现已提供对结构化数据和GraphRAG的支持，进一步拓展了客户利用自身数据提供定制化生成式AI体验的途径。
- Amazon Bedrock Data Automation功能能够在无需编写代码的情况下，自动将非结构化、多模态的数据转换为结构化数据，以帮助客户将更多数据应用于生成式AI及分析工作中。
- 数以万计的客户信赖Amazon Bedrock运行其生成式AI应用程序，过去一年使用该服务的客户量增长了4.7倍。Adobe、Argo Labs、宝马集团、Octus、Symbeo、Tenovos和Zendesk等公司已采用Amazon Bedrock的最新技术。
亚马逊云科技人工智能和数据副总裁Swami Sivasubramanian博士表示："Amazon Bedrock服务持续快速增长，因其广泛而领先的模型选择、可轻松基于自身数据进行定制的工具、内置的负责任的AI功能以及开发复杂智能体的能力成为越来越多客户的选择。为了让客户充分释放生成式AI的潜力，Amazon Bedrock一直致力于解决开发人员当前面临的最大挑战。通过此次新发布的一系列新功能，我们将帮助客户开发出更智能的AI应用程序，让他们为其最终用户创造更大价值。"
汇集领先AI公司的广泛模型选择
Amazon Bedrock为客户提供丰富的完全托管的模型选择，这些模型来自领先的AI公司，包括AI21 Labs、Anthropic、Cohere、Meta、Mistral AI以及Stability AI等。此外，Amazon Bedrock是客户使用新发布的Amazon Nova模型的唯一渠道。Amazon Nova是新一代基础模型，以行业领先的性价比为广泛的任务提供先进的智能能力。通过此次发布，亚马逊云科技在Amazon Bedrock上新增更多行业领先的模型，进一步扩展Amazon Bedrock的模型选择范围。
- Luma AI的Ray 2：Luma AI的多模态模型和软件产品借助生成式AI推动视频内容创作。亚马逊云科技将成为首家向用户提供Luma AI最先进的Luma Ray 2模型（其著名视频模型的第二代）的云服务提供商。Ray 2标志着生成式AI辅助视频创作的重大进步，它能够依据文本和图像高效且以电影级质感生成高质量、逼真的视频。用户能够快速尝试不同的拍摄角度和风格，创建角色连贯、物理效果准确的视频，可为建筑、时尚、电影、平面设计以及音乐等领域提供创意性输出。
- poolside的malibu和point：poolside解决大型企业现代软件工程面临的挑战。亚马逊云科技将成为首家提供poolside的malibu和point模型访问权限的云服务提供商，这两个模型在代码生成、测试、文档编制以及实时代码补全方面表现出色。这有助于工程团队提高生产力，更快编写出更优质的代码，并加速产品开发周期。这两种模型还能够依据客户的代码库、实践操作以及文档进行安全、私密的微调，使其能够适配特定项目，帮助客户以更高的准确性和效率处理日常软件工程任务。此外，亚马逊云科技还将成为首家提供poolside Assistant访问权限的云服务提供商，该功能可以将poolside的malibu和point模型强大的功能融入开发人员首选的集成开发环境（IDE）之中。
- Stability AI的Stable Diffusion 3.5 Large：Stability AI是视觉媒体领域领先的生成式AI模型开发商，在图像、视频、3D和音频方面拥有先进的模型。Amazon Bedrock即将添加Stable Diffusion 3.5 Large这一Stability AI最先进的文本转图像模型。该模型能够依据各种风格的文本描述生成高质量图像，加速为媒体、游戏、广告以及零售领域的客户创建概念艺术、视觉效果以及详细的产品图像。
通过Amazon Bedrock Marketplace访问100多个热门、新兴和专业模型
尽管Amazon Bedrock中的模型能够支持众多任务，许多客户仍希望将新兴的专用模型融入到他们的应用程序中，为其独特的用例，如分析财务文档或生成新型蛋白质等提供支持。借助Amazon Bedrock Marketplace，客户如今能够轻松地从100多个模型中进行查找与选择，这些模型可部署在亚马逊云科技上，并能通过Amazon Bedrock中的统一体验进行访问。这涵盖了诸如Mistral AI的Mistral NeMo Instruct 2407、Technology Innovation Institute的Falcon RW 1B以及NVIDIA NIM微服务等热门模型，以及众多专业模型，如用于金融行业的Writer的Palmyra-Fin、用于翻译的Upstage的Solar Pro、Camb.ai的文本转音频MARS6以及用于生物学的EvolutionaryScale的ESM3生成模型等。
客户一旦找到他们想用的模型，就能依据自身扩展需求选择合适的基础设施，并通过完全托管端点轻松将其部署在亚马逊云科技上。客户随后可将该模型与Amazon Bedrock的统一应用程序编程接口（API）安全集成，从而使用诸如Guardrails和Agents等工具，并受益于内置的安全和隐私功能。
Zendesk是一家全球服务软件公司，服务于覆盖全球10万个品牌的多元文化客户群体。该公司可在Amazon Bedrock中使用如用于翻译的Widn.AI等专用模型，通过电子邮件、聊天、电话以及社交媒体对客户服务请求进行个性化和本地化处理。这将为客服人员提供其所需的数据，比如客户母语表达中的情绪或意图等，最终提升客户服务体验。
提示词缓存和Intelligent Prompt Routing帮助客户大规模处理推理问题
在选择模型时，开发人员需要权衡多种因素，如准确性、成本和延迟。针对其中任一因素进行优化，都可能意味着在其他因素上做出让步。为了在将应用程序部署到生产环境时平衡这些考量因素，客户会采用多种技术，例如缓存常用提示词或将简单问题分配给较小模型。然而，运用这些技术既复杂又耗时，需要专业知识来反复测试不同的方法，以确保终端用户获得良好的体验。正因如此，亚马逊云科技新增了两项功能，帮助客户更有效地大规模管理提示词信息。
- 通过缓存提示词功能降低响应延迟和成本。Amazon Bedrock现已支持安全地缓存提示词，从而减少重复处理，且不会影响准确性。对于受支持的模型，此功能最高可将成本降低90%，并将延迟最多缩短85%。例如，一家律师事务所可以创建一个生成式AI聊天应用程序，用于回答律师有关文件的问题。当多名律师在提示词中询问关于文档同一部分的问题时，Amazon Bedrock能够缓存该部分内容，使其只需处理一次，之后每当有人想要询问相关问题时便可重复使用。这通过减少模型每次需要处理的信息量来降低成本。Adobe的Acrobat AI助手通过实现快速文档摘要和问答功能，提高了用户的工作效率。根据初步测试，借助Amazon Bedrock上的提示词缓存功能，Adobe发现其响应时间缩短了72%。
- 提示词智能路由功能有助于优化响应质量和成本。借助该功能，客户能配置 Amazon Bedrock 自动把提示词分配至同一模型系列里的不同基础模型，以优化响应质量和成本。运用先进的提示词匹配和模型理解技术，提示词智能路由能够预测每个请求对应的每个模型的性能，并将请求动态路由至最有可能以最低成本提供所需响应的模型。提示词智能路由可在不影响准确性的情况下，将成本降低多达30%。Argo Labs为餐厅提供创新的语音代理解决方案，通过提示词智能路由处理各类客户咨询和预订业务。当客户提交问题、下单以及预订位置时，Argo Labs的语音聊天机器人会动态地将查询请求路由至最合适的模型，从而优化响应的成本和质量。例如，像"今晚这家餐厅有空桌吗？"这样简单的是非问题，可以由较小模型处理，而"这家餐厅提供哪些素食选项？"这类更复杂的问题则可由较大模型来回答。借助提示词智能路由功能，Argo Labs能够利用其语音代理无缝处理客户交互，同时实现准确性和成本之间的合理平衡。
Amazon Bedrock知识库的两项新功能助力客户最大程度发挥数据价值
无论自身数据存储于何处、采用何种格式，客户都希望利用它们为终端用户构建独特的由生成式AI驱动的体验。知识库是一项全托管功能，客户借助检索增强生成（RAG），能够轻松利用上下文相关及关联数据自定义基础模型的响应。虽然知识库已能便捷地连接至诸如Amazon OpenSearch Serverless和Amazon Aurora等数据源，但许多客户还希望将其他数据源和数据类型融入其生成式AI应用程序中。基于此，亚马逊云科技为知识库新增了两项功能。
- 结构化数据检索支持功能加速生成式AI应用程序开发。Knowledge Bases提供了首批托管式、开箱即用的RAG解决方案之一，使客户能够直接查询其生成式AI应用程序中结构化数据的存储位置。这一功能有助于打破数据源之间的数据孤岛，将生成式AI开发周期从一个多月缩短至短短几天。客户能够构建应用程序，让应用程序运用自然语言查询来探索存储在Amazon SageMaker Lakehouse、Amazon S3数据湖以及Amazon Redshift等数据源中的结构化数据。借助这项新功能，提示词信息会转换为SQL查询，用于检索数据结果。Knowledge Bases会依据客户的架构和数据自动调整，从查询模式中学习，并提供一系列定制选项，进一步提高所选用例的准确性。信用情报公司Octus将运用Knowledge Bases中全新的结构化数据检索功能，允许终端用户使用自然语言查询结构化数据。通过将Knowledge Bases与Octus现有的主数据管理系统相连，终端用户的提示词信息可转换为SQL查询，Amazon Bedrock利用这些SQL查询检索相关信息，并将其作为应用程序响应的一部分返回给用户。这将帮助Octus的聊天机器人向用户提供精准的、由数据驱动的见解，增强用户与公司一系列数据产品之间的交互。
- GraphRAG支持功能可生成更具相关性的响应。知识图谱允许客户通过将不同的相关信息映射成网状结构来对数据间的关系进行建模和存储。将这些知识图谱融入RAG时会格外有用，系统可依据图谱轻松审阅并检索相关信息片段。如今，凭借对GraphRAG的支持，Knowledge Bases可让客户无需具备图数据库专业知识，即可使用Amazon Neptune图数据库服务自动生成图谱，并跨数据链接各实体之间的关系。Knowledge Bases能够更便捷地生成更准确、更相关的响应，借助知识图谱识别相关联系，并查看源信息以了解模型如何得出特定响应。宝马集团将为旗下的My AI Assistant（MAIA）实施GraphRAG。MAIA是一款人工智能驱动的虚拟助手，可帮助用户查找、理解并整合托管在亚马逊云科技上的公司内部数据资产。借助由Amazon Neptune支持的GraphRAG自动化图形建模功能，宝马集团能够依据数据使用情况，持续更新MAIA所需的知识图谱，从其数据资产中提供更具相关且全面的洞察，进而持续为数百万车主打造优质体验。
Amazon Bedrock Data Automation将非结构化多模态数据转换为结构化数据，用于生成式AI和分析
如今，大多数企业数据都是非结构化的，这些数据包含在文档、视频、图像以及音频文件等内容中。许多客户希望利用这些数据挖掘见解或为客户打造新体验，但将其转换为便于分析或RAG所需的格式往往是一个艰难的手动过程。例如，银行在处理贷款业务时可能会接收多个PDF文档，需要从每个文档中提取详细信息，对姓名、出生日期等特征进行标准化以保证一致性，然后将结果转换为文本格式，再输入数据仓库进行分析。借助Amazon Bedrock Data Automation，客户能够使用单个API从非结构化内容中大规模自动提取、转换并生成数据。
Amazon Bedrock Data Automation能够快速且经济高效地从文档、图像、音频以及视频中提取信息，并将其转换为结构化格式，适用于智能文档处理、视频分析以及RAG等用例。该功能可以使用预定义的默认设置生成内容，例如视频片段每个场景的描述或音频的转录内容，客户也可以根据自身的数据架构生成定制化的输出内容，并将其轻松加载到现有的数据库或数据仓库中。通过与Knowledge Bases的集成，Amazon Bedrock Data Automation还可以解析内容以支持RAG应用程序，通过整合嵌入在图像和文本中的信息，提升结果的准确性和相关性。同时，该功能提供置信度评分，并基于原始内容生成响应，有助于降低生成"幻觉"风险并提高透明度。
Symbeo是一家隶属于CorVel的公司，提供自动化应付账款解决方案。Symbeo计划利用Amazon Bedrock Data Automation，从复杂的文档（如保险理赔、医疗账单等）中自动提取数据。这将帮助Symbeo的团队更快速地处理理赔事务，并缩短向客户回复的周转时间。数字资产管理平台Tenovos正在使用Amazon Bedrock Data Automation在大规模语义搜索中提升内容的复用率，复用率提高了50%以上，节省了数百万美元的营销费用。
Amazon Bedrock Marketplace现已正式可用，同时Amazon Bedrock Knowledge Bases中的推理管理功能、结构化数据检索、GraphRAG以及Amazon Bedrock Data Automation均已预览可用。此外，Luma AI、poolside和Stability AI的模型也即将上线。
