机器学习算法学习之特征工程3-电子发烧友网

处理偏度和峰度

偏度和峰度是可以帮助理解数据分布的统计量。偏度度量数据的不对称程度，而峰度度量分布的峰度或平坦程度。

Fig.5 — Skewness

处理偏度的方法会对机器学习模型的性能产生负面影响。因此，处理数据中的偏度非常重要。以下是一些处理数据偏度的技巧：

1.对数变换（Log transformation）：对数变换可以用来减少数据的偏度。它可以应用于正偏态和负偏态数据。

2.平方根变换（Square root transformation）：平方根变换可以用于减少数据的偏度。它可以应用于正偏态数据。

3.Box-Cox变换（Box-Cox transformation）：Box-Cox变换是一种更通用的变换方法，可以处理正偏态和负偏态数据。它使用参数lambda来确定要应用于数据的变换类型。

以下是一些Python代码演示这些变换技巧：

import numpy as np
import pandas as pd
from scipy import stats


# Generate some skewed data
data = np.random.gamma(1, 10, 1000)


# Calculate skewness and kurtosis
skewness = stats.skew(data)
kurtosis = stats.kurtosis(data)


print("Skewness:", skewness)
print("Kurtosis:", kurtosis)


# Log transformation
log_data = np.log(data)
log_skewness = stats.skew(log_data)
log_kurtosis = stats.kurtosis(log_data)


print("Log Skewness:", log_skewness)
print("Log Kurtosis:", log_kurtosis)


# Square root transformation
sqrt_data = np.sqrt(data)
sqrt_skewness = stats.skew(sqrt_data)
sqrt_kurtosis = stats.kurtosis(sqrt_data)


print("Sqrt Skewness:", sqrt_skewness)
print("Sqrt Kurtosis:", sqrt_kurtosis)


# Box-Cox transformation
box_cox_data, _ = stats.boxcox(data)
box_cox_skewness = stats.skew(box_cox_data)
box_cox_kurtosis = stats.kurtosis(box_cox_data)


print("Box-Cox Skewness:", box_cox_skewness)
print("Box-Cox Kurtosis:", box_cox_kurtosis)

处理峰度（kurtosis）的方法可以采用类似于处理偏度的变换方法。一些处理峰度的技巧包括：

1.对数变换：对数变换也可以用于处理数据中的峰度。

2.平方变换：平方变换也可以用于处理数据中的峰度。

3.Box-Cox变换：Box-Cox变换也可以用于处理数据中的峰度。

Fig.6 — Kurtosis

下面是一些 Python 代码来演示这些转换：

import numpy as np
import pandas as pd
from scipy import stats


# Generate some data with high kurtosis
data = np.random.normal(0, 5, 1000)**3


# Calculate skewness and kurtosis
skewness = stats.skew(data)
kurtosis = stats.kurtosis(data)


print("Skewness:", skewness)
print("Kurtosis:", kurtosis)


# Log transformation
log_data = np.log(data)
log_skewness = stats.skew(log_data)
log_kurtosis = stats.kurtosis(log_data

处理罕见类别

处理罕见类别是指处理在数据中出现不频繁的分类变量的过程。罕见类别可能会对机器学习模型造成问题，因为它们可能在数据中没有足够的代表性来准确地建模。一些处理罕见类别的技巧包括：

1.合并罕见类别：这涉及将罕见类别合并为单个类别或少数类别。这会减少变量中的类别数量，并增加罕见类别的代表性。

2.用更常见的类别替换罕见类别：这涉及用变量中最常见的类别替换罕见类别。如果罕见类别对分析不重要，这种方法可以很有效。

3.使用标志进行独热编码：这涉及为罕见类别创建一个新的类别，并将它们标记为罕见类别。这使得模型可以将罕见类别与其他类别区别对待。

以下是一个使用泰坦尼克号数据集处理罕见类别的示例：

import pandas as pd
import numpy as np


# load Titanic dataset
titanic = pd.read_csv('titanic.csv')


# view value counts of the 'Embarked' column
print(titanic['Embarked'].value_counts())


# group rare categories into a single category
titanic['Embarked'] = np.where(titanic['Embarked'].isin(['C', 'Q']), titanic['Embarked'], 'R')


# view value counts of the 'Embarked' column after grouping
print(titanic['Embarked'].value_counts())


# replace rare categories with the most common category
titanic['Embarked'] = np.where(titanic['Embarked'].isin(['C', 'Q']), titanic['Embarked'], 'S')


# view value counts of the 'Embarked' column after replacement
print(titanic['Embarked'].value_counts())


# create a new category for rare categories and flag them as rare
titanic['Embarked_R'] = np.where(titanic['Embarked'].isin(['C', 'Q']), 0, 1)

处理时间序列数据

处理时间序列数据涉及到多种威廉希尔官方网站，如数据预处理、特征提取和建模。让我们看一些威廉希尔官方网站以及如何使用Python实现它们。

Fig.7 — Time Series Data

1.数据预处理：时间序列数据通常包含缺失值、离群值和噪声数据，这些可能会影响模型的性能。因此，在训练模型之前进行数据预处理是必要的。一些常见的数据预处理威廉希尔官方网站包括填充缺失值、处理离群值和缩放。

2.特征提取：特征提取涉及从时间序列数据中提取有用的信息，以用于建模。一些流行的特征提取威廉希尔官方网站包括滚动统计、傅立叶变换和小波变换。

3.建模：一旦数据经过预处理并提取特征，就可以用于建模。一些流行的时间序列模型包括ARIMA（自回归综合移动平均）、LSTM（长短期记忆）和Prophet。

# Import libraries
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
from statsmodels.tsa.arima_model import ARIMA
from keras.models import Sequential
from keras.layers import LSTM, Dense


# Load time-series data
data = pd.read_csv('time_series_data.csv')


# Preprocess data
data.fillna(method='ffill', inplace=True)
data = data[(data['date'] > '2020-01-01') & (data['date'] < '2021-12-31')]
data.set_index('date', inplace=True)
scaler = StandardScaler()
data = scaler.fit_transform(data)


# Extract features
rolling_mean = data.rolling(window=7).mean()
fft = np.fft.fft(data)
wavelet = pywt.dwt(data, 'db1')


# Train ARIMA model
model = ARIMA(data, order=(1, 1, 1))
model_fit = model.fit(disp=0)
predictions = model_fit.predict(start='2022-01-01', end='2022-12-31')


# Train LSTM model
X_train, y_train = [], []
for i in range(7, len(data)):
    X_train.append(data[i-7:i, 0])
    y_train.append(data[i, 0])
X_train, y_train = np.array(X_train), np.array(y_train)


X_train = np.reshape(X_train, (X_train.shape[0], X_train.shape[1], 1))


# Define the LSTM model
model = Sequential()
model.add(LSTM(units=50, return_sequences=True, input_shape=(X_train.shape[1], 1)))
model.add(Dropout(0.2))
model.add(LSTM(units=50, return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(units=50))
model.add(Dropout(0.2))
model.add(Dense(units=1))


# Compile the model
model.compile(optimizer='adam', loss='mean_squared_error')


# Fit the model to the training data
model.fit(X_train, y_train, epochs=100, batch_size=32)

**文本预处理 **

文本预处理是处理文本数据时特征工程的一个关键步骤。其目标是将原始文本转换为可用于机器学习模型的数字表示。以下是Python中常用的一些文本预处理威廉希尔官方网站：

分词：将句子或文档分解为单个单词或短语。NLTK库提供了各种分词器，例如单词分词器和句子分词器。

from nltk.tokenize import word_tokenize, sent_tokenize


text = "This is a sample sentence. It contains some words."
words = word_tokenize(text)
sentences = sent_tokenize(text)


print(words)
# Output: ['This', 'is', 'a', 'sample', 'sentence', '.', 'It', 'contains', 'some', 'words', '.']


print(sentences)
# Output: ['This is a sample sentence.', 'It contains some words.']

2.停用词去除：停用词是一些常见的不添加任何文本含义的单词，例如“a”、“the”、“and”等。去除停用词可以提高文本处理的效率并减小数据的大小。NLTK库为各种语言提供了一个停用词列表。

from nltk.corpus import stopwords


stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.casefold() not in stop_words]


print(filtered_words)
# Output: ['sample', 'sentence', '.', 'contains', 'words', '.']

Fig.8 — Text Processing

3.词干提取和词形还原：词干提取和词形还原是将单词缩减为其基本或根形式的威廉希尔官方网站
。例如，“running”、“runner”和“runs”可以缩减为根词“run”。NLTK库提供了各种词干提取器和词形还原器。

from nltk.stem import PorterStemmer, WordNetLemmatizer


stemmer = PorterStemmer()
lemmatizer = WordNetLemmatizer()


stemmed_words = [stemmer.stem(word) for word in filtered_words]
lemmatized_words = [lemmatizer.lemmatize(word) for word in filtered_words]


print(stemmed_words)
# Output: ['sampl', 'sentenc', '.', 'contain', 'word', '.']


print(lemmatized_words)
# Output: ['sample', 'sentence', '.', 'contains', 'word', '.']

4.文本规范化：文本规范化涉及将文本转换为标准化形式，例如将所有文本转换为小写，去除标点符号，并用它们的全称替换缩写和缩略语。

import re


def normalize_text(text):
    text = text.lower()
    text = re.sub(r'[^\\w\\s]', '', text)
    text = re.sub(r'\\b(can\\'t|won\\'t|shouldn\\'t)\\b', 'not', text)
    text = re.sub(r'\\b(i\\'m|you\\'re|he\\'s|she\\'s|it\\'s|we\\'re|they\\'re)\\b', 'be', text)
    return text


text = "I can't believe it's not butter!"
normalized_text = normalize_text(text)


print(normalized_text)
# Output: 'i not believe be not butter'