腾讯云TI-ONE训练平台在线服务部署_AI解决方案_同尘科技
在完成模型的训练或自定义镜像的开发后,可以使用模型服务模块部署为在线服务。
前提条件
已完成模型的训练并导入模型仓库,或者已将自定义的镜像上传至腾讯云容器镜像服务 TCR。
操作步骤
1. 登录 TI-ONE 控制台,在左侧导航栏中选择模型服务 > 在线服务,进入在线服务列表页面。 2. 在服务列表页面单击新建服务,进入服务启动页面。 3. 在服务启动页面,配置在线服务的相关参数。3.1 服务基础信息
参数 | 说明 |
服务名称 | 服务的名称,按照界面提示的规则填写即可 |
服务版本 | 版本号系统自动生成 |
服务描述 | 可按需为服务配置描述信息 |
地域 | 同账号下的服务按地域进行隔离,地域字段取值根据您在服务列表页面所选择的地域自动带入 |
计费模式 | 可选择包年包月(资源组)模式或按量付费模式。(A)包年包月(资源组)模式下,可使用在资源组管理模块已购买的资源组部署服务,算力费用在购买资源组时已支付,启动服务时无需扣费。(B)按量付费模式下,用户无需预先购买资源组,根据服务依赖的算力规格,启动服务时冻结两小时费用,之后每小时根据运行中的实例数量按量扣费。 |
资源组 | 若选择包年包月(资源组)模式,可选择资源组管理模块的资源组 |
3.2 实例容器信息
参数 | 说明 |
模型来源 | 可选择启动服务是否需要使用模型文件。(A)选择模型仓库适用于,部署服务所需的模型文件已导入至模型仓库的场景。(B)选择 CFS 适用于,部署服务所需的模型文件已放在 CFS 文件系统里的场景。Turbo CFS 仅支持包年包月模式使用。(C)选择 COS 适用于,部署服务所需的模型文件已放在 COS 文件系统里的场景。COS 仅支持包年包月模式使用。(D)选择镜像适用于,部署服务所需的自定义镜像已封装模型文件,不需要再进行模型文件挂载,且自定义镜像已上传至容器镜像服务 TCR 的场景。 |
运行环境 | (A)若从模型仓库选择模型,则运行环境会根据模型仓库的配置信息自动赋值。如需使用自定义镜像启动服务,镜像文件大小建议不超过34G。(B)若从 CFS 选择模型,则运行环境需要根据 CFS 里的模型文件选择对应的内置镜像。(C)若从 COS 选择模型,则运行环境需要根据 COS 里的模型文件选择对应的内置镜像。(D)若从镜像选择模型,则运行环境可以选择已上传至容器镜像服务 TCR 的自定义镜像或者内置大模型镜像。 |
存储挂载 | 仅从模型仓库选择模型,支持外挂 CFS 文件系统作为该服务的存储空间:按量付费模式下本地磁盘默认支持的模型包总大小约45G,包年包月(资源组)模式下模型包会存储在资源组节点挂载的磁盘上(资源组单节点磁盘总大小约50G),当您的模型包大小超过限制时,需要另外配置 CFS 文件系统,平台会自动使用 CFS 文件系统存储模型;当服务停止或者服务更新时,平台会默认帮用户清理该 CFS 源路径下的文件,请确保该路径下无其他数据;Turbo CFS 仅支持包年包月模式使用。 |
模型热更新 | 当配置了模型自动热更新后,模型服务会自动同步模型文件至服务本地磁盘,按量付费模式下本地磁盘默认支持的模型包总大小约45G,包年包月(资源组)模式下模型包会存储在资源组节点挂载的磁盘上(资源组单节点磁盘总大小约110G)请合理配置模型清理周期。当前版本仅支持推理镜像为 tfserving 的模型进行热更新;此外,由于模型热更新会持续下载模型到服务本地盘,因此需要该模型包配置了模型自动清理策略,或者模型服务外挂了 CFS 文件系统,才可以启动模型热更新。 |
资源申请/算力规格 | (A)包年包月(资源组)模式下,可设置从所选资源组中申请多少资源用于启动当前服务。(B)按量付费模式下,可按需选择启动当前服务所需的算力规格。 |
启动命令 | 支持配置容器的启动命令,选填。 |
环境变量 | 支持配置容器的环境变量,选填。 |
3.3 服务高级配置
参数 | 说明 |
实例调节 | (A)手动调节模式下,可以自定义设置服务的实例数量,实例数量最小为1。(B)自动调节模式下,可以选择基于时间或者基于 HPA 的调节策略,该部分详细说明请查看 在线服务运营。 |
是否生成鉴权 | 若开启,则服务调用时会进行签名认证,已启动的服务可在服务调用页面查看签名密钥及签名计算指引。 |
CLS 日志投递 | 平台为用户提供免费的近7日服务日志存储,若需要持久化日志存储以及更灵活的日志检索能力,可开启 CLS 日志投递,开启后服务日志会根据日志集与日志主题投递至腾讯云日志服务 CLS。 |
请求限流 | 支持配置服务限流值:1. 该限流值为单个副本的限流,当服务进行扩缩容时,服务整体限流值将按照设置的值 * 副本数进行更新;2. 单个服务组最大的 QPS 为500,当服务组下设置的服务总限流值大于500时,按照500进行限流。 |
自动停止 | 平台支持自动停止模型服务,当开启该开关后,在线服务将在指定的停止时间自动停止,同时停止服务算力计费。 |
标签 | 支持为服务添加标签,用于按照标签进行授权或出账。 |
4. 确认服务配置信息无误后,单击启动服务进行服务部署。服务部署过程中将为您创建网关并调度计算资源,需要等待一段时间,待服务成功完成部署时,服务状态将变为运行中。
对解决方案有疑惑?想了解解决方案收费? 联系解决方案专家
腾讯云限时活动1折起,即将结束: 马上收藏
同尘科技为腾讯云授权服务中心,购买腾讯云享受折上折,更有现金返利:同意关联,立享优惠
阿里云解决方案也看看?: 点击对比阿里云的解决方案
暂无评论,你要说点什么吗?