使用 BentoML 加速 Yext 的 AI 创新

要点

• 通过标准化开发流程和团队协作，将开发时间缩短了 70%。
• 凭借 BentoML 的多云、多区域部署和高效的自动扩缩容能力，将计算成本降低了高达 80%。
• 通过让数据科学团队能够自助服务以及工程团队能够专注于更高价值的任务，交付了 2 倍多的模型。

“BentoML 使我们的数据科学团队和工程团队能够独立工作，无需持续协调。这使我们能够以极高的效率构建和部署 AI 服务，同时为机器学习工程团队提供在需要时进行重构的灵活性。过去需要几天的工作，现在只需几个小时。仅在前四个月，我们就部署了 40 多个模型，现在通过 BentoML 的标准化平台，我们在生产环境中运行着 150 多个模型。”

——— Michael Misiewicz，Yext 数据科学总监

背景

Yext 是领先的数字存在平台，以其彻底改变全球多地点品牌与客户连接方式而闻名。凭借一个中心平台，Yext 使品牌能够在所有数字触点提供准确、一致的信息。他们采用尖端的 AI 解决方案来简化本地列表、网页、评论、社交媒体等的管理。

Yext 使用多种 AI 架构，用于增强内容创建、信息检索、推荐以及针对传统和 AI 驱动搜索引擎的优化。这些服务需要部署各种 AI 模型，从最先进的生成模型到经过微调的小型语言模型以及经典的统计机器学习模型。这种创建 AI 产品的全面方法帮助 Yext 满足其产品的各种要求，同时提高客户的参与度和可见性。

扩展 AI 工作负载中的成长烦恼

与许多扩展 AI 工作负载的企业一样，Yext 在基础设施和流程协调方面遇到了常见挑战。虽然团队拥有创新 AI 产品的坚实基础，但这些痛点使得模型难以快速投入生产。

• 僵化的基础设施减缓了部署速度。Yext 拥有一系列实验性 AI 产品，需要将多个原型投入生产。然而，由于缺乏灵活的基础设施和标准化框架，团队的迭代速度跟不上需求。这导致进展缓慢。
• 将 AI 模型投入生产既耗时又容易出错。管理各种 AI 模型需要团队重复为每个服务构建相同的工具、优化和辅助工具。这种重复工作延长了开发时间表，并增加了错误和资源限制的风险。
• 跨团队依赖增加了复杂性。每次发布新模型都需要机器学习工程团队在生产基础设施中构建新服务。这增加了工作量，减缓了迭代速度，并限制了团队快速适应不断变化的需求或探索新用例的能力。

Misiewicz 表示：“将新服务投入生产比预期的要花费更多时间，尤其是在涉及新的基础设施要求时，AI 工作负载通常就是这种情况。”

利用灵活且经济高效的平台转型 AI 运营

面对这些挑战，Yext 认识到需要一个标准化的平台，该平台应具有灵活性以支持其广泛的模型服务用例。

Misiewicz 补充道：“我们不想要一个限制性强、包罗万象的平台，而是希望一个能够与我们现有基础设施无缝集成并支持我们首选工作流程的解决方案。它还需要在 GPU 部署选项方面具有灵活性。”

经过评估，Yext 选择了 BentoML，原因在于其多项关键优势

• 减少在基础设施运营上花费的时间。BentoCloud 的 BYOC 选项结合了全托管平台的优势和安全、客户控制的云账户的控制权。这种部署架构最大限度地减少了基础设施需求，使 Yext 团队能够专注于高价值工作，同时受益于最新的 AI 基础设施创新。
• 通过集成简化现有流程。BentoML 轻松集成现有模型训练和实验工作流程。这对 Yext 来说是一个重要要求，因为它希望避免彻底修改其开发流程以适应新平台。

Misiewicz 表示：“在考察 BentoML 后，我们相信它会是一个很好的选择，因为它提供了我们希望从推理平台获得的集成、灵活性和可扩展性。”

• 使用标准化框架更快地交付 AI 产品。BentoML 标准化了团队协作和将模型发布到生产环境的方式。首先，BentoML 的原生组件使得数据科学家使用最少的代码创建包含各种模型的 AI 服务变得更加容易。其次，标准化框架减少了数据科学家和机器学习工程师之间所需的来回沟通。这使得机器学习工程师从重复的部署任务中解放出来，让他们能够专注于更关键的计划和核心业务开发。
• 通过混合云架构节省成本。BentoML 的云无关方法使 Yext 能够轻松地将模型部署到不同区域，不仅是为了遵守当地法规，也是为了优化 GPU 成本和可用性。这使得 Yext 能够在高效扩展全球业务的同时最大限度地利用资源。

一旦做出决定，启动并运行初始项目就非常快速且直观。Yext 数据科学团队很快适应了该平台，并逐渐将其应用于各种关键任务的机器学习和生成式 AI 项目。在整个过渡期间，BentoML 团队与 Yext 密切合作，通过每周签到和每日直接沟通，确保项目的成功。

更快、更高效的全球规模 AI 产品

自采用 BentoML 以来，Yext 的运营效率显著提升，包括

• 将开发时间缩短了 70%。借助 BentoML 统一的服务框架标准化性能优化和工作流管理，模型投入生产从几天缩短到几小时。
• 减少对基础设施团队的依赖。数据科学团队现在可以使用 BentoCloud 的高级 SDK 独立推送、部署和扩展其模型，这些 SDK 可通过 Python、CLI 或便捷的仪表板访问。
• 将计算成本降低了高达 80%。BentoML 的云无关方法使 Yext 能够部署到 GPU 价格和可用性最佳的区域。此外，高效的自动扩缩容和缩容至零功能确保无需过度配置。
• 交付了 2 倍多的模型。服务全球市场要求 Yext 提供能够处理多种语言的产品。通过 BentoCloud，他们能够为全球客户交付 2 倍数量的模型。在推出新语言模型的过程中，Yext 能够在一周内部署超过 15 个不同的模型。如今，Yext 在生产环境中运行着 150 多个模型，所有这些都由 BentoCloud 可扩展且高效的基础设施提供支持。

Misiewicz 表示：“我们对 BentoML 带来的结果和变化感到非常兴奋，尤其是在开发和部署流程中节省的时间。它弥合了我们的数据科学团队和工程团队之间的差距，加快了我们的迭代周期。”

BentoML 首席执行官兼创始人杨超宇表示：“在 BentoML，我们的目标是帮助企业在 AI 领域取得领先和成功。我们为模型推理和先进 AI 应用提供快速可扩展的基础设施。看到 BentoML 如此出色地集成到 Yext 的基础设施中并标准化其工作流程，这令人兴奋。”

结论

BentoML 通过提供增强团队协作的标准化框架，彻底改变了 Yext 开发和部署 AI 模型的工作流程。随着基础设施负担的减轻，Yext 数据科学团队现在可以探索更广泛的 AI 用例来扩展其业务。这一转变为其 AI 驱动计划的持续增长和成功奠定了基础。

更多资源

• 了解有关 Yext 的更多信息
• 免费注册 BentoCloud！体验统一的推理平台，该平台简化了开发人员在任何云或本地环境中，使用任何模型构建和扩展生产中的 AI 系统的方式。
• 加入我们的 Slack 社区以获取有关 BentoML 的最新信息。
• 有问题？安排与我们的专家通话。