腾讯云媒体处理视频内容分析_音视频解决方案_同尘科技

媒体处理 2年前 (2023-08-10) 浏览 110

视频内容分析是一项使用 AI 对视频内容进行智能分析的功能。对视频执行内容分析任务后,执行结果会对视频分类、打标签及截取封面等给出智能建议,帮助视频平台准确高效地管理视频。内容分析的项目涵盖了分类、标签、封面和按帧标签,具体如下表所示。

功能名称 说明
智能分类 对视频所属的分类给出建议,目前有十余个类别,例如:新闻、娱乐、游戏、科技、美食、体育、旅行、动漫、舞蹈、音乐、影视及汽车等。
智能标签 对视频可以打上的标签给出建议,目前共有3000余种标签,例如:游戏、交通工具、音乐家、赛车、宠物、架子鼓、自行车、魔兽世界、电脑、学校及夹克等。
智能封面 从视频中选出一张或几张截图,作为推荐采用的封面。
智能按帧标签 为视频逐帧画面,给出打标签的建议,目前共有1000余种标签,例如:现代舞、水上运动、牛排、宝宝、小猫、一年生植物、驱逐舰、漫画、草坪、婚纱、多功能厅及护照等。

视频内容分析模板

通过视频内容分析参数,可以控制分析任务具体执行哪几项分析操作。MPS 使用视频内容分析模板来表示智能分析参数集合:是否启用智能分类是否启用智能标签是否启用智能封面是否启用智能按帧标签针对常见的操作组合,MPS 提供了 预置视频内容分析模板。另外,您还可以调用 服务端 API 创建和管理自定义视频内容分析模板。

任务发起

发起视频内容分析任务,有“通过 API 主动发起”和“通过上传自动触发”两种方式。通过 API 主动发起:调用 发起媒体处理 接口,请求中的AiAnalysisTask参数指定 视频内容分析模板 的模板 ID。通过上传自动触发:在控制台 创建工作流 并开启内容分析,然后向工作流绑定的触发目录上传视频。

结果获取

发起视频内容分析任务后,您可以通过同步进行 查询任务 和异步等待 结果通知 两种方式获取视频内容分析任务的执行结果。下面是发起内容分析任务后,以“查询任务”方式获取的结果示例(省略了值为 null 的字段):

{    "TaskType":"WorkflowTask",    "Status":"FINISH",    "CreateTime":"2019-07-16T06:21:27Z",    "BeginProcessTime":"2019-07-16T06:21:28Z",    "FinishTime":"2019-07-16T06:21:46Z",    "WorkflowTask":{        "TaskId":"2356768367-WorkflowTask-2e1af2456351812be963e309cc133403t0",        "Status":"FINISH",        "InputInfo":{            "Type":"COS",            "CosInputInfo":{                "Bucket":"MyVideoBucket-235303****",                "Region":"ap-beijing",                "Object":"/input/AnimalWorld.mp4"            }        },        "MetaData":{            "AudioDuration":60,            "AudioStreamSet":[                {                    "Bitrate":383854,                    "Codec":"aac",                    "SamplingRate":48000                }            ],            "Bitrate":1021028,            "Container":"mov,mp4,m4a,3gp,3g2,mj2",            "Duration":60,            "Height":480,            "Rotate":0,            "Size":7700180,            "VideoDuration":60,            "VideoStreamSet":[                {                    "Bitrate":637174,                    "Codec":"h264",                    "Fps":23,                    "Height":480,                    "Width":640                }            ],            "Width":640        },        "MediaProcessResultSet":[
], "AiContentReviewResultSet":[
], "AiAnalysisResultSet":[ { "Type":"Classification", "ClassificationTask":{ "Status":"SUCCESS", "ErrCode":0, "Message":"", "Input":{ "Definition":10 }, "Output":{ "ClassificationSet":[ { "Classification":"动物", "Confidence":80 }, { "Classification":"旅行", "Confidence":34 } ] } } }, { "Type":"Cover", "CoverTask":{ "Status":"SUCCESS", "ErrCode":0, "Message":"", "Input":{ "Definition":10 }, "Output":{ "OutputStorage":{ "Type":"COS", "CosOutputStorage":{ "Bucket":"MyVideoBucket-235303****", "Region":"ap-beijing" } }, "CoverSet":[ { "CoverPath":"/xxx/xxx/xxx1.jpg", "Confidence":79 }, { "CoverPath":"/xxx/xxx/xxx2.jpg", "Confidence":70 }, { "CoverPath":"/xxx/xxx/xxx3.jpg", "Confidence":66 } ] } } }, { "Type":"Tag", "TagTask":{ "Status":"SUCCESS", "ErrCode":0, "Message":"", "Input":{ "Definition":10 }, "Output":{ "TagSet":[ { "Tag":"马", "Confidence":34 }, { "Tag":"鸟", "Confidence":27 }, { "Tag":"植物", "Confidence":13 }, { "Tag":"海滩", "Confidence":11 } ] } } } ], "AiRecognitionResultSet":[
] }, "TasksPriority":0, "SessionId":"", "SessionContext":"", "RequestId":"xxx-xxx-xxx"}

回调结果中,ProcedureStateChangeEvent.AiAnalysisResultSetTypeClassificationCoverTag三种类型的分析结果,分别代表视频智能分类、视频智能封面和视频智能标签。TypeClassification的结果显示,Output.ClassificationSet置信度最高的分类是动物,其次的分类则是旅行TypeCover的结果Output.CoverSet,给出了3个建议采用的封面,CoverPath是对应封面输出的位置。TypeTag的结果Output.TagSet,给出了4个视频建议采用的标签,按照置信度从高到低排列。

对音视频的解决方案有疑惑?想了解解决方案收费? 联系解决方案专家

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心,购买腾讯云享受折上折,更有现金返利:同意关联,立享优惠

阿里云解决方案也看看?: 点击对比阿里云的解决方案

- 0人点赞 -

发表点评 (0条)

not found

暂无评论,你要说点什么吗?