通过自托管网关路由本地AI助手流量
通过集中式自托管网关路由本地AI助手流量，该网关应用实时通话压缩和上下文优化，以减少推理支出。来自Othentic Labs Ltd的Anyray Connect以签名的Windows可执行文件形式提供给工程团队和DevOps。它暴露了一个与OpenAI兼容的API，按团队和项目提供支出归属，并包括一个故障开放超时，以便开发者工作流程持续运行。该工具适合在大规模运行LLM并需要本地治理的团队。
Anyray Connect 实际上为开发者 LLM 流量做了什么？
Anyray Connect 通过内部网关路由来自本地 AI 工具的请求，重写端点以便助手和 SDK 在不更改代码的情况下使用优化器。客户端可执行文件会自动配置兼容工具指向网关，而网关应用确定性、基于规则的变换进行压缩和上下文修剪。该设置针对必须将提示内容保留在公司基础设施内的环境，并暴露出一个与 OpenAI 兼容的 API，以便现有集成继续工作。
它会影响工作流程或需要工程更改吗？
该工具作为现有 LLM 端点的直接替代品工作，因此团队无需更改助手代码或 SDK 调用。此外，客户端使用一种故障开放机制，具有 800–1200 毫秒的超时，如果优化器响应缓慢，则请求将保持不变地转发，从而保持开发者的生产力。配置发生在客户端和网关层，安装程序作为单个签名的 Windows 可执行文件或通过 Windows 包管理器分发。
在企业环境中操作安全吗？
安全性被设计为自托管架构的一部分；网关和优化器在您的基础设施内运行（例如，Docker 或 Kubernetes），而提示/响应内容保持在本地。此外，优化器使用确定性变换以保持输出稳定，计量仅发送无内容的元数据用于支出归属。这些设计选择限制了外部暴露，同时提供每个团队和每个项目的使用报告。
针对已经运行自托管基础设施的工程团队的工具
Anyray Connect 适合需要对 LLM 流量进行细粒度治理的工程和 DevOps 团队，并且已经运营容器化或本地服务。它通过暴露标准 API 来保留现有集成，并将敏感提示保留在网络内部。主要的权衡是操作要求：团队必须托管和维护网关基础设施，以便受益于优化器和归因功能。
