跳到正文

技术方向

运行时与推理服务 最新动态

推理运行时、调度、服务化、编排、内存管理和生产部署的技术变化。

3 条精选近 30 天 3 条共收录 6 条

更新

运行时与推理服务的精选

今天10月6日周二第 1–3 条
  1. AWS Machine Learning Infrastructure Blog72

    Claude Code 如何通过 Amazon Bedrock 支持 AWS GovCloud (US) 受监管工作负载

    AWS介绍了如何在 AWS GovCloud (US) 中通过 Amazon Bedrock 配置 Claude Code，为具备监管或合规要求的工作负载提供 AI 辅助开发。

    推荐理由：文章给出了在 AWS GovCloud (US) 配置 Claude Code 的具体步骤，并比较两个 Bedrock 端点在审计与 API 能力上的适用场景。

  2. AWS Machine Learning Infrastructure Blog62

    Amazon SageMaker 发布面向编码代理的生成式 AI 推理优化技能

    Amazon SageMaker AI 推出 aws-ai-ml 技能，可接入支持 MCP 的编码代理，生成 SageMaker Python SDK v3 代码来压测端点、推荐部署配置并比较基准结果。

    推荐理由：文章展示了技能如何把端点压测、实例推荐与多次结果对比串成可执行工作流，并说明基于真实负载的指标如何辅助部署配置选择。

10月5日周一
  1. AWS Machine Learning Infrastructure Blog73

    AWS 教程：LangChain 与 Amazon Bedrock Knowledge Bases 的 Agentic retrieval 实践

    AWS 介绍了如何在 LangChain 与 Amazon Bedrock Knowledge Bases 中对比 Retrieve 和 AgenticRetrieveStream 两种检索路径。

    推荐理由：文章对比了单次检索与 Agentic retrieval 的覆盖率、成本和延迟，并给出按问题复杂度路由两条路径的工程方法。