这些算法需要格式化数据才能开始训练过程。在这一节中,。
在我们的日常生活中,需要处理大量数据,但这些数据是原始数据。 为了提供数据作为机器学习算法的输入,需要将其转换为有意义的数据。 这就是数据预处理进入图像的地方。
数据预处理步骤
按照以下步骤在 Python 中预处理数据 -
第1步 - 导入有用的软件包 - 如果使用 Python,那么这将成为将数据转换为特定格式(即预处理)的第一步。如下代码 -
这里使用了以下两个软件包 -
NumPy - 基本上 NumPy 是一种通用的数组处理软件包,设计用于高效处理任意记录的大型多维数组而不牺牲小型多维数组的速度。
sklearn.preprocessing - 此包提供了许多常用的实用函数和变换器类,用于将原始特征向量更改为更适合机器学习算法的表示形式。
第2步 - 定义样本数据 - 导入包后,需要定义一些样本数据,以便可以对这些数据应用预处理技术。现在将定义以下样本数据 -
第3步 - 应用预处理技术 - 在这一步中,我们需要应用预处理技术。
二值化
这是当需要将数值转换为布尔值时使用的预处理技术。我们可以用一种内置的方法来二值化输入数据,比如说用0.5作为阈值,方法如下 -
现在,运行上面的代码后,将得到以下输出,所有高于0.5(阈值)的值将被转换为1,并且所有低于0.5的值将被转换为0。
二值化数据
平均去除
这是机器学习中使用的另一种非常常见的预处理技术。 为了对样本数据应用平均去除预处理技术,可以编写如下Python代码。 代码将显示输入数据的平均值和标准偏差 -
运行上述代码行后,将得到以下输出 -
现在,下面的代码将删除输入数据的平均值和标准偏差 -
缩放
特征向量的缩放是需要的,因为每个特征的值可以在许多随机值之间变化。 换句话说, 借助以下Python代码,我们可以对输入数据进行缩放,即特征矢量 -
最小最大缩放
运行上述代码行后,将得到以下输出 -
正常化
这是另一种数据预处理技术,用于修改特征向量。 这种修改对于在一个普通的尺度上测量特征向量是必要的。 以下是可用于机器学习的两种标准化 -
L1 标准化
这种标准化会修改这些值,以便绝对值的总和在每行中总是最多为 1。 它可以在以下 Python 代码,使用上面的输入数据来实现 -
上面的代码行生成以下输出:
L2 标准化
**它也被称为最小二乘。**这种归正常化修改了这些值,以便每一行中的平方和总是最多为 1。它可以在以下 Python 代码,使用上面的输入数据来实现 -
执行以上代码行将生成以下输出 -
我们已经知道,某。 例如,如果所说的分类,那么数据上会有很多标记。 这些标记以文字,数字等形式存在。与 sklearn 中的机器学习相关的功能期望数据必须具有数字标记。 因此,如果数据是其他形式,那么它必须转换为数字。 这个将单词标签转换为数字形式的过程称为标记编码。
标记编码步骤
第1步 - 导入有用的软件包
如果使用 Python,那么这将是将数据转换为特定格式(即预处理)的第一步。 它可以做到如下 -
第2步 - 定义样本标签
导入包后,我们需要定义一些样本标签,以便可以创建和训练标签编码器。 现在将定义以下样本标签 -
第3步 - 创建和训练标签编码器对象
在这一步中,我们需要创建标签编码器并对其进行训练。 以下是 Python 代码的实现 -
以下是运行上面的 Python 代码后的输出 -
第4步 - 通过编码随机排序列表来检查性能
此步骤可用于通过编码随机排序列表来检查性能。 下面的 Python 代码可以做同样的事情 -
标签将如下打印 -
现在,可以得到编码值列表,即将文字标签转换为数字,如下所示 -
输出结果打印如下 -
第5步 - 通过解码一组随机数来检查性能 -
通过对随机数字集进行解码,可以使用此步骤来检查性能。 下面的 Python 代码也可以做同样的事情 -
现在,将被打印如下 -
现在,解码值将被打印如下 -
标记与未标记数据
。 它们包括音频,视频,照片,新闻文章等。