腾讯云TI-ONE训练平台数据预处理_AI解决方案_同尘科技

注意：部分输出请在高级设置中查看。数据预处理下的平台算子具有两个特性，在此作为整体产品特性进行说明：n1. 存在概率性，只在数据量大时，结果趋近于所设定的切分或采样比例。n2. 行序不保证。

下采样（DownSampling）

原理

算法说明

下采样是一种常用的处理不平衡数据的一种预处理方法。下采样是从大众类中剔除一些样本，或者说只从大众类中选取部分样本。
下采样的缺点显而易见，那就是最终的训练集丢失了数据，模型只学到了部分数据的特征。

参数配置

算法 IO 参数*输入文件类型：格式包括以下两种：csv ：csv 文件*输入数据包含 header 信息：默认为“是”。*输入数据分隔符：数据分隔符，默认为逗号，可下拉选择其他分隔符。*输出数据包含 header 信息：默认为“是”。*输出数据分隔符：数据分隔符，默认为逗号，可下拉选择其他分隔符。parquet ：列式存储格式 parquet*标签列：指定标签所在的列，从 0 开始计数。算法参数 *类别比率阈值：如果(目标类别数目 / 采样类别数目）>= 类别比率阈值，那么说明数据按此标准是平衡的，不做任何处理。如果(目标类别 / 采样类别）< 类别比率阈值，那么会对采样类别进行采样，采样率为 (目标类别 / 采样类别）/ 类别比率阈值。*采样类别：需要下采样的类别值（数量多的类别)。*目标类别：数量少的类别。

Demo

输入数据示例

示例是每一行为列名，其余行为数据，第一列为特征列，第二列为标签列。

feature,target5.1187,05.6208,06.9427,05.8428,05.9405,04.5322,06.1961,05.689,04.4514,16.0637,1

参数配置

算法 IO 参数*输入文件类型：csv*输入数据是否包含 header 信息：是*输入数据分隔符：逗号*输出数据是否包含 header 信息：是*输出数据分隔符：逗号*标签列：1算法参数 *类别比率阈值：1.0 。此处目标类别数目为 2 ，采样类别数目为 6 ，目标类别数目/采样类别数目 = 1/3 ，对标签为 0 的类别进行采样，采样率为 1/3 ，即标签为 0 的样本数目减少到 2 。*采样类别：0*目标类别：1，数量少的类别。

输出数据示例

类别 0 数据量减少。

feature,target5.6208,06.1961,04.4514,16.0637,1

按比例采样（DataSampling）

原理

算法说明

按比例采样是一种常用的数据预处理算法。该算子从原数据集里随机抽取用户指定的比例，输出小样本数据。该模块常用于抽取小样本，用于数据的可视化。

参数配置

算法 IO 参数*输入文件类型：格式包括以下两种：csv ：csv 文件*输入数据包含 header 信息：默认为“是”。*输入数据分隔符：数据分隔符，默认为逗号，可下拉选择其他分隔符。*输出数据包含 header 信息：默认为“是”。*输出数据分隔符：数据分隔符，默认为逗号，可下拉选择其他分隔符。parquet ：列式存储格式 parquet算法参数*采样比例：范围是 0~1.0 ，表示抽取样本的比例，默认值为 0.8 。

Demo

输入数据示例

示例是无 header (没有列名)且每一行为一条数据，最后一列为标签，其他列为特征。

3 2 3 0 0 2 1 0 1 13 2 3 0 0 2 1 0 1 13 2 3 0 0 2 1 0 1 13 2 3 0 0 2 1 0 1 13 2 3 0 0 2 1 0 1 13 2 3 0 0 2 1 0 1 13 2 6 1 0 1 0 2 1 13 2 6 1 0 1 0 2 1 13 2 6 1 0 1 0 2 1 14 1 3 0 1 0 1 4 1 04 1 7 0 1 1 0 1 1 03 2 7 0 0 2 1 1 0 04 2 5 1 1 1 1 0 0 03 1 6 0 1 2 0 2 4 06 2 2 0 0 7 9 1 0 0

参数配置

算法 IO 参数*输入文件类型：csv*输入数据是否包含 header 信息：否*输入数据分隔符：空格*输出数据是否包含 header 信息：否*输出数据分隔符：空格算法参数*采样比例：0.7 ，即从原数据随机抽取 70% 的数据进行输出。

输出数据示例

输出为 csv 文件，逗号为分隔符，从输入数据随机抽取 70% 进行输出。

3 2 3 0 0 2 1 0 1 13 2 3 0 0 2 1 0 1 13 2 3 0 0 2 1 0 1 13 2 3 0 0 2 1 0 1 13 2 3 0 0 2 1 0 1 13 2 6 1 0 1 0 2 1 13 2 6 1 0 1 0 2 1 13 2 6 1 0 1 0 2 1 13 2 7 0 0 2 1 1 0 04 2 5 1 1 1 1 0 0 03 1 6 0 1 2 0 2 4 06 2 2 0 0 7 9 1 0 0

数据切分（Spliter）

原理

算法说明

数据切分是另外一种常用的数据预处理算法。在机器学习建模过程中，通常需要训练数据集和验证数据集两类数据集。本算子将输入数据集按照指定的比例切分为训练数据集和验证数据集。

参数配置

算法 IO 参数*输入文件类型：格式包括以下两种：csv ：csv 文件*输入数据包含 header 信息：默认为“是”。*输入数据分隔符：数据分隔符，默认为逗号，可下拉选择其他分隔符。*输出数据包含 header 信息：默认为“是”。*输出数据分隔符：数据分隔符，默认为逗号，可下拉选择其他分隔符。parquet ：列式存储格式 parquet算法参数*切分比例：数据切分的比例。

Demo

输入数据示例

示例是无 header (没有列名)且每一行为一条数据，最后一列为标签，其他列为特征。

3 2 3 0 0 2 1 0 1 1 3 2 3 0 0 2 1 0 1 1 3 2 3 0 0 2 1 0 1 1 3 2 3 0 0 2 1 0 1 1 3 2 3 0 0 2 1 0 1 1 3 2 3 0 0 2 1 0 1 13 2 6 1 0 1 0 2 1 13 2 6 1 0 1 0 2 1 1 3 2 6 1 0 1 0 2 1 1 4 1 3 0 1 0 1 4 1 0 4 1 7 0 1 1 0 1 1 03 2 7 0 0 2 1 1 0 04 2 5 1 1 1 1 0 0 03 1 6 0 1 2 0 2 4 0 6 2 2 0 0 7 9 1 0 0

参数配置

算法 IO 参数*输入文件类型：csv*输入数据是否包含 header 信息：否*输入数据分隔符：空格*输出数据是否包含 header 信息：否*输出数据分隔符：空格算法参数*切分比例：0.8 。即第一份数据的输出结果占总数据的 80% ，第二份数据的输出占总数据的 20% 。

输出数据示例

输出为 csv 文件，逗号为分隔符。n第一部分输出结果：第一份数据的输出，如切分比例为 0.8 ，该份结果占总数据的 80% 。

3 2 3 0 0 2 1 0 1 13 2 3 0 0 2 1 0 1 13 2 3 0 0 2 1 0 1 13 2 6 1 0 1 0 2 1 13 2 6 1 0 1 0 2 1 13 2 6 1 0 1 0 2 1 14 1 3 0 1 0 1 4 1 04 1 7 0 1 1 0 1 1 04 2 5 1 1 1 1 0 0 03 1 6 0 1 2 0 2 4 06 2 2 0 0 7 9 1 0 0

第二部分输出结果：第二份数据的输出，如切分比例为 0.2 ，该份结果占总数据的 20% 。

3 2 3 0 0 2 1 0 1 1 3 2 3 0 0 2 1 0 1 1 3 2 7 0 0 2 1 1 0 0 

缺失值填充（ReplaceMissing）

原理

算法说明

该算法对数据中某列数据存在的缺失值，即空值，进行替换。

参数配置

算法 IO 参数*输入文件类型：格式包括以下两种：csv ：csv 文件*输入数据包含 header 信息：默认为“是”。*输入数据分隔符：数据分隔符，默认为逗号，可下拉选择其他分隔符。*输出数据包含 header 信息：默认为“是”。*输出数据分隔符：数据分隔符，默认为逗号，可下拉选择其他分隔符。parquet ：列式存储格式 parquet*选择特征列：处理的特征列序号，可多选，如 0-1 ，从 0 开始计数。算法参数*填充方法：n零（zero）、空（none）、最小值（minimum）、最大值（maximum）、均值（average）、中值（median）、众数（mode）、输入值（value），主要针对字符串特征。*填充值：如果填充方法选择“输入值（value）”，则此处填写希望填充的值。

Demo

输入数据示例

输入为 csv 文件，有 header ，逗号为分隔符。其中每行第一列为时间戳；每行第二列为当月的牛奶产量。n具体内容可参考如下：

Month,production141840000,908144518400,867147196800,815149788800152467200,773155059200157737600,834160416000,782162835200165513600,903168105600,966170784000,937173376000,896176054400,858

参数配置

算法 IO 参数*输入文件类型：csv*输入数据是否包含 header 信息：是*输入数据分隔符：逗号*输出数据是否包含 header 信息：是*输出数据分隔符：逗号*选择特征列：1算法参数*填充方法：average

输出数据示例

输出为 csv 文件，逗号为分隔符。第一列缺失的值填充该列的均值。

Month,production141840000,908144518400,867147196800,815149788800,867152467200,773155059200,867157737600,834160416000,782162835200,867165513600,903168105600,966170784000,937173376000,896176054400,858

自动数据预处理（AutoDataProcess）

原理

算法说明

该算法自动预处理数据的数据。主要做如下自动处理：1. 去除重复样本；2. 删除缺失率高的列，删除列值相同的列；3. 数据规整化（去除两侧空格）；4. 填充缺失值：针对 double 和 float 类型数，缺失值填均值；5. 处理离群值。

参数配置

算法 IO 参数*输入文件类型：格式包括以下两种：csv ：csv 文件*输入数据包含 header 信息：默认为“是”。*输入数据分隔符：数据分隔符，默认为逗号，可下拉选择其他分隔符。*输出数据包含 header 信息：默认为“是”。*输出数据分隔符：数据分隔符，默认为逗号，可下拉选择其他分隔符。parquet ：列式存储格式 parquet算法参数*缺失值阈值：如果特征列的缺失值比例大于该阈值，特征列会被删除。*是否删除离群值：离群值表示偏离本列数据三个标准差以上的点。选择是将会删除离群值，否则会按照离群方向被平滑为距离均值三个标准差的值。

Demo

输入数据示例

输入为 csv 文件，有 header ，逗号为分隔符。其中存在缺失值、异常值、重复样本。n具体内容可参考如下：

Country/Region,Lat,Long,1/22/20,1/23/20,1/24/20,1/25/20,1/26/20,1/27/20Afghanistan,33.93911,67.709953,0,0,0,0,0,0Albania,41.1533,20.1683,0,0,0,0,0,0Algeria,28.0339,1.6596,0,,0,0,0,0Andorra,42.5063,1.5218,0,0,0,0,0,0Angola,-11.2027,17.8739,0,0,0,0,5,0Antigua and Barbuda,17.0608,-61.7964,0,,0,0,0,0Argentina,-38.4161,-63.6167,0,0,0,0,0,0Armenia,40.0691,45.0382,0,0,0,0,0,0Australia,-35.4735,149.0124,0,,0,0,0,0Australia,-33.8688,99999,0,,0,1,3,4Australia,-12.4634,130.8456,0,0,0,0,0,0Australia,-27.4698,153.0251,0,0,0,0,0,0Australia,-34.9285,138.6007,0,0,0,0,0,0Australia,-42.8821,147.3272,0,0,0,0,0,0Australia,-37.8136,144.9631,0,0,0,0,1,1Australia,-31.9505,115.8605,0,0,0,0,0,0Austria,47.5162,14.5501,0,0,0,0,0,0Azerbaijan,40.1431,47.5769,0,0,0,0,0,0Bahamas,25.025885,-78.035889,0,0,0,0,0,0Bahamas,25.025885,-78.035889,0,0,0,0,0,0

参数配置

算法 IO 参数：*输入文件类型：csv*输入数据是否包含 header 信息：是*输入数据分隔符：逗号*输出数据是否包含 header 信息：是*输出数据分隔符：逗号算法参数：*缺失值阈值：1.0。*是否删除离群值：是。

输出数据示例

Country/Region,Lat,Long,1/25/20,1/26/20,1/27/20Albania,41.1533,20.1683,0.0,0.0,0.0Azerbaijan,40.1431,47.5769,0.0,0.0,0.0Bahamas,25.025885,-78.035889,0.0,0.0,0.0Australia,-35.4735,149.0124,0.0,0.0,0.0Australia,-34.9285,138.6007,0.0,0.0,0.0Armenia,40.0691,45.0382,0.0,0.0,0.0Australia,-27.4698,153.0251,0.0,0.0,0.0Afghanistan,33.93911,67.709953,0.0,0.0,0.0Algeria,28.0339,1.6596,0.0,0.0,0.0Andorra,42.5063,1.5218,0.0,0.0,0.0Australia,-12.4634,130.8456,0.0,0.0,0.0Australia,-31.9505,115.8605,0.0,0.0,0.0Argentina,-38.4161,-63.6167,0.0,0.0,0.0Australia,-42.8821,147.3272,0.0,0.0,0.0Antigua and Barbuda,17.0608,-61.7964,0.0,0.0,0.0Austria,47.5162,14.5501,0.0,0.0,0.0



对解决方案有疑惑？想了解解决方案收费？ 联系解决方案专家

腾讯云限时活动1折起，即将结束： 马上收藏

同尘科技为腾讯云授权服务中心，购买腾讯云享受折上折，更有现金返利:同意关联，立享优惠

阿里云解决方案也看看？： 点击对比阿里云的解决方案