本节主要介绍鼠标、键盘、触摸的交互操作处理方法。

鼠标


从上图可以看出，云渲染交互中鼠标消息的转换流程。其中，应用软件是业务侧在控制台自助上传的应用，它运行在 Windows 系统上，响应 Windows 的鼠标窗口消息。业务侧接入 SDK 发送鼠标消息时，需要将 SDK 运行所在平台的消息转换为鼠标消息来操作应用。一般来说，各个平台处理情况如下：在 Android 和 iOS 平台是将系统的触摸消息转换成云渲染鼠标消息。在 Web 页面中则根据页面运行的系统来决定，当 Web 页面运行在 Windows/macOS 的浏览器中时将鼠标消息转换为云渲染鼠标消息，当 Web 页面运行在 Android/iOS 的浏览器中时将触摸消息转换为云渲染鼠标消息。
其中，触摸消息转换为云渲染鼠标消息中，通常是将单指点击转换为云渲染鼠标点击，单指滑动转换为云渲染鼠标移动等。
因此，业务侧需要根据使用的 SDK 及运行的平台做相应的适配，具体请参考：Web 页面（小程序）参考文档：onTouchEvent，mouseMove，sendMouseEvent。Android App 参考文档：Android 外设交互处理。iOS App 参考文档： iOS 外设交互处理。

键盘


从上图可以看出，云渲染交互中键盘消息的转换流程。其中，应用软件是业务侧在控制台自助上传的应用，它运行在 Windows 系统上，响应 Windows 的键盘窗口消息。业务侧接入 SDK 发送键盘消息时，需要将 SDK 运行所在平台的消息转换为键盘消息来操作应用。一般来说，各个平台处理情况如下：在 Android 和 iOS 平台是将系统的触摸消息或者软键盘消息转换为云渲染键盘消息。在 Web 页面中则根据页面运行的系统来决定，当 Web 页面运行在 Windows/macOS 的浏览器中时将键盘消息转换为云渲染键盘消息，当 Web 页面运行在 Android/iOS 的浏览器中时将触摸消息或者软键盘消息转换为云渲染键盘消息。
其中，触摸消息或软键盘消息转换为云渲染键盘消息中，通常是将触摸方向盘操作转换为云渲染键盘的 WASD 消息，将软键盘消息直接转换为云渲染键盘按键消息等。
因此，业务侧需要根据使用的 SDK 及运行的平台做相应的适配，具体请参考：Web 页面（小程序）参考文档：sendKeyboardEvent，Joystick。Android App 参考文档：Android 外设交互处理。iOS App 参考文档： iOS 外设交互处理。

触摸


从上图可以看出，云渲染交互中触摸消息的转换流程。其中，应用软件是业务侧在控制台自助上传的应用，它运行在 Windows 系统上，响应 Windows 的触摸窗口消息。业务侧接入 SDK 发送触摸消息时，需要将 SDK 运行所在平台的消息转换为触摸消息来操作应用。一般来说，各个平台处理情况如下：在 Android 和 iOS 平台将系统的触摸消息转换为云渲染触摸消息。在 Web 页面仅运行在 Android/iOS 的浏览器中时将触摸消息转换为云渲染触摸消息。
只有当应用软件支持 Windows 的触摸窗口消息处理，并且应用软件在物理的 Windows 触摸屏设备上测试正常时，才建议业务侧可以使用 SDK 将所在平台的触摸消息转换为云渲染触摸消息。注意：不建议使用 UE、Unity 引擎的鼠标转触摸来测试应用软件对触摸消息的处理是否正常，因为触摸行为会在触摸屏设备上表现异常。因此，业务侧需要根据使用的 SDK 及运行的平台做相应的适配，具体请参考：Web 页面（小程序）参考文档：init.clientInteractMode，setClientInteractMode。Android App 参考文档：Android 外设交互处理。iOS App 参考文档：iOS 外设交互处理。

对音视频的解决方案有疑惑？想了解解决方案收费？ 联系解决方案专家

腾讯云限时活动1折起，即将结束： 马上收藏

同尘科技为腾讯云授权服务中心，购买腾讯云享受折上折，更有现金返利:同意关联，立享优惠

阿里云解决方案也看看？： 点击对比阿里云的解决方案