腾讯云TI-ONE训练平台使用自动学习构建模型_AI解决方案_同尘科技

TI-ONE 训练平台 2年前 (2023-04-28) 浏览 74

操作背景

TI-ONE 自动学习模块内置了常见深度学习场景,例如图片分类、目标检测,使用户仅需通过简单的配置即可完成深度学习模型构建、评测、发布等模型生命周期全流程工作。 为了方便您有效地使用 TI-ONE 的自动学习,本文将通过一个图片分类案例向您演示使用流程。

前提条件

完成腾讯云 TI-ONE 服务注册与开通,请参考 账号和权限说明。 开通 对象存储 COS 服务并完成 存储桶创建。在数据中心 上传 带有标注标签的数据或对数据进行 标注。使用按量计费类型资源会预先冻结所选配置2个小时的使用费用,若您的现金账户余额不足,请先进行充值。

使用自动学习进行图片分类模型训练

步骤1:新建任务

进入自动学习 > 立即开始,选择对应的区域,单击新建任务单击后进入新建任务页面,用户需在此填写本次任务的任务名称、训练数据、训练输出路径、训练配置及训练资源配置等信息。 1. 填写基本信息:
2. 填写数据配置: 其中: 是否增量训练:对于首次训练的任务,是否增量训练默认关闭。如果您需要基于某个已有训练任务进行模型的增量更新,可选择将该项开启。 数据来源:您可选择数据中心中的数据或示例数据。数据中心的数据通常是您自己创建的数据集,示例数据为平台内置数据。3. 填写训练配置:n 其中: 预训练模型:腾讯TI平台提供腾讯超大规模预训练模型及通用训练模型。其中,推荐优先使用腾讯超大规模预训练模型,其具有训练数据庞大(亿级别数据)、训练起点高、通用性强、对训练数据要求更少、迭代速度快等特点。 训练偏好设置:可结合您的业务场景设置训练偏好,训练偏好主要用于平衡模型精度及推理速度。 期望准确率:可结合业务目标设置合理的期望准确率值,到达准确率后会为您自动停止训练。 最长训练时长:默认为1小时,到达后任务会立即停止。该设置下,模型可能无法达到所需的训练效果,可结合实际情况对该项进行调整。 训练参数设置为可选项,自动学习会为您提供默认值。也可结合您的实际情况进行修改,可修改的训练参数包括: epochs:模型训练次数,可选择系统内置的值或进行自定义。 lr:学习率,可选择系统内置的值或进行自定义。 batch_size:训练批次大小,可选择系统内置的值或进行自定义。 warmup:预热训练次数,可选择系统内置的值或进行自定义。 模型优化:可通过此功能降低模型的推理时延,支持针对T4及V100两种类型的GPU进行优化。4. 填写训练资源配置,可按需选择按量计费或包年包月计费模式,确认后单击下一步。5. 单击下一步后,进入训练模型页面如您在单击下一步后离开训练模型页面,可至任务管理列表页重新找到该任务。

步骤2:训练模型

训练模型页,可以查看模型的运行状态及训练详情。页面展示信息如下: 1. 训练状态
已运行时长:展示模型训练任务已经运行的时长。 最长运行时长:为本任务在配置任务页所设置的值,本例中为1小时。 训练进度:展示模型训练任务进度及训练任务当前所处阶段。如果您不再需要本次训练任务,可以单击停止训练按钮。如果训练意外中断,可单击重启训练按钮。 优化进度:展示模型优化任务进度,如开启了模型优化功能开关,则模型训练完成后将自动启动模型优化。2. 训练详情实时指标:展示模型训练过程中的实时指标,包含横坐标为epoch(模型训练次数), 纵坐标为具体指标所对应的数值。训练日志:展示模型训练过程中产生的日志详情,支持自动刷新及检索分析。3. 图片分类训练指标说明: accuracy:正确预测图片的数量 / 图片总数量。 valid_top1_accuracy:验证集预测结果中,排名第一的类别里面正确预测的准确率。 valid_top5_accuracy:验证集预测结果中,排名前五的类别里面正确预测的准确率。 loss:损失值,代表模型预测与目标之间的距离。

步骤3:模型评测

模型评测提供基于测试集的模型表现信息。包含模型评测任务基本信息(如评测时长、评测图片数量、badcase 数量),整体指标(可通过定义不同的全局阈值查看模型的精确率、召回率、F1-Score),PR曲线。1. 查看模型评测的基本信息,包含测试集、评测时长、评测图片数量、badcase 数量等。如需查看测试数据集,请单击测试集对应的查看,单击后,可看到测试集的标签分布信息、各类别标签数量及标签占比。由于图片读取会产生 COS 请求及流量费用,因此,默认不展示测试集图片详情。如需展示图片详情,您可打开详情展示开关单击详情展示后,会为您展示测试集中所包含的图片详情信息。您可依次查看,或根据标注类别选择具体的标签进行查看。对于模型在测试集上的 badcase,可单击基本信息badcase 数量对应的查看,进入到对应的页面进行查看。由于 badcase 访问需要产生对象存储 COS 的请求和流量费用,因此图片默认是不展示的。请将预览 badcase 图片开关打开后查看详情。 可通过筛选正确结果、预测结果对应的标签快速了解模型表现,以便于制定有针对性的模型优化计划。2. 查看模型整体指标,包含精确率、召回率、F1-Score。全局阈值:默认为80%,可按步长为5进行数值调整。通过调整阈值,可以权衡精确率和召回率,以判断模型是否符合实际业务场景的需求。 精确率:表示预测结果为正类的样本中,真正的正样本比例。 召回率:实际图片类别被检测到的比率。 F1-Score:F1-Score 通常用于概括分类模型的性能,它结合了精确率和召回率两个指标。计算公式为: F1 = (2 * 精确率 * 召回率)/ (精确率 + 召回率)。3. 查看模型的PR曲线,横轴表示 Recall(召回率),纵轴表示 Precision(精确率),鼠标 hover 至曲线上可查看每个类别对应的精确率、召回率及阈值。4. 在 PR 曲线下方提供每个类别对应的预测结果及指标。可通过调整右侧面板中的阈值,查看不同阈值对应的精度、召回率及 F1-Score。同时在左侧表格中,可以单击分类错误的数量查看每个类别下对应的 badcase。

步骤4:一键发布

1. 模型评测结束后,可单击下一步,进入一键发布页面,快速将训练得到的模型部署为在线预测服务。如需发布正式服务,请直接单击正式发布前往在线服务发布。如需进行服务测试,可填写本页面上的信息:
计费模式:可选择按量计费或者包年包月算力规格:按需选择模型部署所需的算力。 最长运行时长:为节省资源您可设置最长运行时长,服务将按照设置时长停止。 单击服务测试按钮进行模型发布,如果计费模式选择按量计费,则会预先冻结所选配置2个小时的费用,需要保证账户余额能满足您的业务要求。2. 单击服务测试后,进入到发布页面:运行状态:显示预测服务当前所处的状态。如您不再需要此服务,可单击停止,停止该服务。 在线预测服务:单击查看服务,进入该服务对应的详情页面。包含服务的基本信息、实例列表、监控、事件、日志、更新记录。详情可查看 在线服务运营。 服务测试:服务测试区域,您可单击点击上传按钮,上传新的测试图片,查看模型的预测结果。 说明 如果识别结果显示暂无数据,可通过调整置信度,对显示结果进行过滤。3. 如需将模型发布为正式服务,请单击页面下方的正式发布按钮,如果是首次发布,可选择发布服务组;如果是发布服务的新版本,可选择发布服务版本。发布服务的相关说明可参考在线服务部署

对解决方案有疑惑?想了解解决方案收费? 联系解决方案专家

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心,购买腾讯云享受折上折,更有现金返利:同意关联,立享优惠

阿里云解决方案也看看?: 点击对比阿里云的解决方案

- 0人点赞 -

发表点评 (0条)

not found

暂无评论,你要说点什么吗?