数据挖掘 - 需要特征工程建议 - 吾爱随笔录

需要特征工程建议

数据挖掘机器学习特征工程数据科学模型

2021-09-19 16:36:46

我在特征工程期间遇到问题。寻找一些建议。问题陈述：我有多个客户 3 天的使用数据。有些只有 1 天的使用量，有些是 2 天，有些是 3 天。数据与每天发送的电子邮件数量/添加的联系人数量等有关。

我将此时间序列数据转换为按列，即客户在第 1 天发送的电子邮件数量作为一项功能，客户在第 2 天发送的电子邮件数量作为一项功能，依此类推。但问题是，对于不同的客户，使用可以是递增顺序或递减顺序。

即，示例 1：客户 'A' --> ' 1st 发送的电子邮件数量。天' = 100 。'第 2 天发送的电子邮件数量'=0

示例 2：客户 'B' --> ' 1st 发送的电子邮件数量。天' = 0 。'第 2 天发送的电子邮件数量'=100

示例 3：customer 'C' --> 'number of emails sent on 1st . 天' = 0 。'第 2 天发送的电子邮件数量'=0

示例 4: customer 'D' --> 'number of emails sent on 1st . 天' = 100 。'第 2 天发送的电子邮件数量'=100

在前两种情况下 => 我的新功能将具有“-100”和“100”作为值。我想这有利于区分。但是当新特征值在两种情况下都为“0”时，第 3 列和第 4 列会出现问题，任何人都可以建议一种方法来处理这个问题。

处理此问题的一种方法：

我可以在这些情况下添加“没有变化”，但我对一件事感到困惑。如果我这样做，我将不得不将新特征设为分类，这并不理想，因为其他值将是连续的。

相反，我可以在新功能中使用绝对值，并将趋势表示为“+1”或增加“-1”表示减少“无变化”表示没有变化，如果两个值都为“0”，则表示“0”。那会是一个好方法吗？

最终目标是预测用户是否会继续使用该应用程序。所以它基本上是一个二分类模型。而且我想捕捉甚至使用的规模，即“A 用户每天发送 100 封电子邮件”应该不同于“B 用户每天发送 10000 封电子邮件”

1个回答

好吧，您想确定使用情况的变化，您可以尝试以下操作：

F (d 一个 {是的}_{1}, d 一个 是的 2) = \frac{d 一个 {是的}_{2} - d 一个 {是的}_{1} + δ}{| | d 一个 {是的}_{2} - d 一个 {是的}_{1} + δ | |} \times | | \frac{d 一个 {是的}_{2} + d 一个 {是的}_{1}}{(d 一个 {是的}_{2} + d 一个 {是的}_{1} + 1) (d 一个 {是的}_{2} - d 一个 {是的}_{1} + 1)} | |

$f(day_1,day2) = \frac{day_2-day_1 + \delta}{||day_2-day_1+\delta||} \times \Biggr|\Biggr|\frac{day_2+day_1}{(day_2+day_1+1)(day_2-day_1+1)}\Biggl|\Biggl|$

在哪里 $\delta$ 是您机器的 eps（需要求和以区别于其他浮点数的最小值）

那会给你

F (100, 0) \approx - 98.02

$f(100,0) \approx -98.02$

F (0, 100) = 100

$f(0,100) = 100$

F (100, 100) \approx 0.995

$f(100,100) \approx 0.995$

F (0, 0) = 0

$f(0,0) = 0$

你可以看看我的实验here

这将映射所有非更改 $[0,1]$ 在哪里 $f(0,0)$ 映射到 $0$ 和 $f(\infty,\infty)$ 映射到 $1$

这个从哪里来？只需手动调整功能。但我认为这可能足以满足您的应用程序

解释这个想法

您想要一个包含大量信息的功能： - 使用量是否大于零？- 是增加还是减少？- 如果停止，使用量是多少？

好吧，您的使用因整数值而异，因此您可以将整个不变但高于 0 的情况映射到以前未使用的间隔。

上面的函数将映射到 $[0,1]$ 所有不变的可能性，以指数的方式（ $a^{(-\frac{1}{usage})}$ ) 你也可以从正变化中提取实际值和负变化的近似值（当跌幅很高时，这是一个更好的近似值）

这不是完美的场景，但它是我可以压缩成 1 个变量而损失很小的最大信息。

其它你可能感兴趣的问题

上一篇是否有一种算法可以根据 n 个最近的列来估算缺失值？（KNN 混合）下一篇亚当的优化是否容易受到局部最小值的影响？