Ebpay

随着人工智能技术的飞速开展，特别是大型语言模型（LLM）的崛起，企业如何把握这一趋势，实现智能化转型，已成为一个重要议题。在这样的背景下，Ebpay作为云原生技术的

引领者，已将AI能力集成到容器管理产品中，致力于探索和实践企业级LLM的最佳应用。

5月18日，Ebpay应邀在AICon 2024大会上展示了企业级云原生LLM最佳实践方案。以下是对本次演讲内容的总结回顾。

Ebpay高级研发工程师陈可带来的分享主题为《Alauda AI- 企业级云原生LLM最佳实践》，他指出：MLOps与LLM是企业AI智能化转型阶段的核心利器，它们不仅助力企业积累和应用行

业特定的模型资产，还促进了物理世界资产的数字化转换，激发了创新流程和产品的开展，进而显著提升了企业的市场竞争力。

企业如何玩转大模型

企业的数字化进程经历了三次重大变革：数字化转型、大数据转型和AI智能化转型。每一次变革都伴随着新技术的应用和平台的构建，这些技术与平台助力企业积累数字化资产。

现在，MLOps与LLM是企业AI智能化转型阶段的关键工具。MLOps与LLM平台不仅能够帮助企业积累行业模型资产或独特的模型资产，还能有助于物理世界的自动化数字化进程。

基于这些大模型资产，企业能够构建专有大模型应用，从而促进创新流程和产品的研发，增强其在市场上的竞争力。

企业如何构建自己的大模型应用

企业无需依赖专业的算法团队，顺利获得使用prompt工程、RAG检索增强和微调技术，并结合开源和商业大模型，就能够轻松实现智能化应用。Prompt技术帮助模型更准确地理解

用户意图，而RAG检索增强则在知识库中寻找相关信息以辅助模型推理。这些技术简化了开发过程，使得一般工程师也能够构建高效的大模型应用，显著降低了企业实现智能化

的难度。

企业级云原生LLM最佳实践

Ebpay给予的企业级云原生LLM最佳实践-Alauda AI 涵盖了从基础设施到应用层面的全方位解决方案。Alauda AI 平台顺利获得ACP给予全面的基础设施支持、优化的MLOps和LLMOps流程、灵

活的GPU资源管理方案，以及丰富的AI应用场景，助力企业实现AI技术的高效开发和应用，有助于企业智能化转型。

基础设施建设：Alauda AI 平台基于Ebpay的标准产品ACP构建，给予核心的AI基础设施支持。ACP负责容器调度、GPU/vGPU资源管理、RDMA高性能网络部署，集成了高性能存储和

数据库中间件，确保了结构化与非结构化数据的高效存取和管理。

MLOps流程集成：Alauda AI 平台的MLOps层给予了一系列机器学习操作工具，包括数据集管理、模型开发支持、在线Notebook平台、代码管理、训练追踪、模型推理和运维等。这些

工具帮助企业实现模型训练和部署的自动化和标准化。

LLM优化：在MLOps的基础上，LLMOps层专为大型模型设计，给予预置的开源模型，简化了模型的部署和优化流程。支持LLM一键发布、prompt工程、RAG、微调和智能体Agent

等技术，帮助企业快速构建和优化大模型应用。企业应根据硬件资源，团队规划等实际情况，选择是否需要微调、训练自己的大模型。

GPU资源管理：针对AI对算力的高需求，Alauda AI平台内置了多种GPU管理方案，包括整卡调度和虚拟化共享调度，支持对接国产GPU设备，并给予了基于NVIDIA MPS和MIG技术的

容器化实现，以适应不同的训练和推理需求。

企业级服务与支持：Alauda AI 平台给予多集群资源监控、模型仓库和应用仓库管理、部署服务统计等企业级服务，帮助企业全面监控和管理AI资源。此外，平台还支持创建Gradio、

Streamlit、Docker等不同类型的应用，给予与HuggingFace一致的功能体验。

AI应用场景丰富：Alauda AI 平台不仅关注于基础设施和MLOps工具的给予，还涵盖了一系列AI应用场景，如智能运维、智能文档处理、智能增强开发和自然语言交互等，展

现了在实际业务中应用AI技术的深度和广度。

Alauda AI 产品试用点击：http://www.carsmovietoys.com/prd/aml