正如在批量标准化纸中所解释的，如果神经网络的输入是高斯的，那么训练它就变得容易多了。这很清楚。如果你的模型输入不是高斯的， RAPIDS 会在眨眼间把它转换成高斯的。

高斯秩变换是一种新的标准化威廉希尔官方网站，用于转换输入数据以训练深层神经网络。最近，我们在预测分子竞争性质中使用了这种威廉希尔官方网站，它很容易将 m 消息传递神经网络模型的精度提高了一个显著的幅度。这篇博文将展示如何使用 RAPIDS cuDF 和 Chainer CuPy 实现 GPU 加速的Gauss 秩变换，并使用 pandas 和 NumPy 替换来实现 100 倍加速。

介绍

输入归一化是训练神经网络的关键。高斯秩变换的思想最早是由迈克尔·贾勒。在他的塞古罗港的安全驾驶预测挑战的胜利解中提出的。他训练去噪自动编码器，并尝试了几种输入标准化方法。最后，他得出这样的结论：

我在过去发现的最棒的东西是 GaussRank ，它能直接发挥作用。这通常比标准的 mean / std 定标器或 min / max （标准化）好得多。

工作原理

有三个步骤可以将任意分布下的连续值向量转换为基于秩的高斯分布，如图 1 所示。

图 1 ：高斯秩变换。

CuPy 实现非常简单，非常类似于 NumPy 操作。实际上，只需更改导入的函数，就可以将整个进程从 CPU 移动到 GPU ，而无需任何其他代码更改。

						import cupy as cp
from cupyx.scipy.special import erfinv
import matplotlib.pyplot as plt
import numpy as np
from scipy.special import erfinv as sp_erfinv

x_gpu = cp.random.rand(20) # input array
x_cpu = cp.asnumpy(x_gpu)
x_gpu

					

Out[1]:

array([0.55524998, 0.42394212, 0.01200076, 0.13974612, 0.74289723,
       0.19072088, 0.47061846, 0.61921186, 0.96994115, 0.44076614,
       0.04326316, 0.33698309, 0.47978816, 0.00819107, 0.63463167,
       0.03370001, 0.0369827 , 0.84651929, 0.25335235, 0.75172228])

In[2]:

						r_gpu = x_gpu.argsort().argsort() # compute the rank
print(r_gpu)

r_cpu = x_cpu.argsort().argsort() 
print(r_cpu)

[13  9  1  5 16  6 11 14 19 10  4  8 12  0 15  2  3 18  7 17]
[13  9  1  5 16  6 11 14 19 10  4  8 12  0 15  2  3 18  7 17]

In[3]:

						r_gpu = (r_gpu/r_gpu.max()-0.5)*2 # scale to (-1,1)
epsilon = 1e-6
r_gpu = cp.clip(r_gpu,-1+epsilon,1-epsilon)
print(r_gpu)

r_cpu = (r_cpu/r_cpu.max()-0.5)*2 # scale to (-1,1)
r_cpu = cp.clip(r_cpu,-1+epsilon,1-epsilon)
print(r_cpu)

					

[ 0.36842105 -0.05263158 -0.89473684 -0.47368421  0.68421053 -0.36842105
  0.15789474  0.47368421  0.999999    0.05263158 -0.57894737 -0.15789474
  0.26315789 -0.999999    0.57894737 -0.78947368 -0.68421053  0.89473684
 -0.26315789  0.78947368]
[ 0.36842105 -0.05263158 -0.89473684 -0.47368421  0.68421053 -0.36842105
  0.15789474  0.47368421  0.999999    0.05263158 -0.57894737 -0.15789474
  0.26315789 -0.999999    0.57894737 -0.78947368 -0.68421053  0.89473684
 -0.26315789  0.78947368]

In[4]:

						r_gpu = erfinv(r_gpu) # map to gaussian
print(r_gpu)

r_cpu = sp_erfinv(r_cpu) # map to gaussian
print(r_cpu)

[ 0.3390617  -0.0466774  -1.14541135 -0.44805114  0.70933273 -0.3390617
  0.14085661  0.44805114  3.45891074  0.0466774  -0.56893556 -0.14085661
  0.23761485 -3.45891074  0.56893556 -0.8853822  -0.70933273  1.14541135
 -0.23761485  0.8853822 ]
[ 0.3390617  -0.0466774  -1.14541135 -0.44805114  0.70933273 -0.3390617
  0.14085661  0.44805114  3.45891074  0.0466774  -0.56893556 -0.14085661
  0.23761485 -3.45891074  0.56893556 -0.8853822  -0.70933273  1.14541135
 -0.23761485  0.8853822 ]

In[5]:

						n_bins = 5
fig, axs = plt.subplots(1, 2, sharey=True, tight_layout=True)
fig.set_figheight(5)
fig.set_figwidth(15)
axs[0].hist(cp.asnumpy(x_gpu), bins=n_bins)
axs[0].set_title('input',fontsize=15)
axs[1].hist(cp.asnumpy(r_gpu), bins=n_bins)
axs[1].set_title('transform',fontsize=15)
print('GaussRank transformation GPU')

					

GaussRank transformation

In[6]:

						n_bins = 5
fig, axs = plt.subplots(1, 2, sharey=True, tight_layout=True)
fig.set_figheight(5)
fig.set_figwidth(15)
axs[0].hist(x_cpu, bins=n_bins)
axs[0].set_title('input',fontsize=15)
axs[1].hist(r_cpu, bins=n_bins)
axs[1].set_title('transform',fontsize=15)
print('GaussRank transformation CPU')

					

GaussRank transformation CPU

反变换用于从高斯变换中恢复原始值。这是展示 cuDF 与 CuPy 的互操作性的另一个很好的例子。就像您可以使用 NumPy 和 pandas 一样，您可以在同一个工作流中将 cuDF 和 CuPy 编织在一起，同时将数据完全保存在 GPU 上。

						import warnings
warnings.filterwarnings("ignore")

import cupy as cp
from cupyx.scipy.special import erfinv
import cudf as gd

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from scipy.special import erfinv as sp_erfinv

					

GaussRank transformation

In[2]:

						x_gpu = cp.random.rand(20) # input array
x_cpu = cp.asnumpy(x_gpu)

r_gpu = x_gpu.argsort().argsort() # compute the rank
r_cpu = x_cpu.argsort().argsort() 

r_gpu = (r_gpu/r_gpu.max()-0.5)*2 # scale to (-1,1)
epsilon = 1e-6
r_gpu = cp.clip(r_gpu,-1+epsilon,1-epsilon)

r_cpu = (r_cpu/r_cpu.max()-0.5)*2 # scale to (-1,1)
r_cpu = cp.clip(r_cpu,-1+epsilon,1-epsilon)

r_gpu = erfinv(r_gpu) # map to gaussian
r_cpu = sp_erfinv(r_cpu) # map to gaussian

					

Inverse transformation step by step

In[3]:

						df_cpu = pd.DataFrame({'src':x_cpu,'tgt':r_cpu}) 
df_gpu = gd.DataFrame({'src':x_gpu,'tgt':r_gpu}) # pass cupy array to cudf dataframe

df_cpu = df_cpu.sort_values('src') # sort
df_gpu = df_gpu.sort_values('src')

pos_cpu = df_cpu['tgt'].searchsorted(r_cpu, side='left') # search
pos_gpu = df_gpu['tgt'].searchsorted(r_gpu, side='left')

					

In[4]:

						def linear_inter_polate(df,x,pos):
    N = df.shape[0]
    pos[pos>=N] = N-1
    pos[pos-1<=0] = 0
    if isinstance(x,cp.ndarray):
        pos = pos.values
        
    x1 = df['tgt'].values[pos]
    x2 = df['tgt'].values[pos-1]
    y1 = df['src'].values[pos]
    y2 = df['src'].values[pos-1]

    relative = (x-x2)  / (x1-x2)
    return (1-relative)*y2 + relative*y1

					

In[5]:

						x_inv_cpu = linear_inter_polate(df_cpu,r_cpu,pos_cpu) # linear inter polate
x_inv_gpu = linear_inter_polate(df_gpu,r_gpu,pos_gpu)

In[6]:

						n_bins = 5
fig, axs = plt.subplots(1, 3, sharey=True, tight_layout=True)
fig.set_figheight(5)
fig.set_figwidth(15)
axs[0].hist(x_cpu, bins=n_bins)
axs[0].set_title('input',fontsize=15)
axs[1].hist(r_cpu, bins=n_bins)
axs[1].set_title('transform',fontsize=15)
_ = axs[2].hist(x_inv_cpu, bins=n_bins)
axs[2].set_title('inverse transform',fontsize=15)
print('GaussRank CPU')

					

GaussRank CPU

In[7]:

						n_bins = 5
fig, axs = plt.subplots(1, 3, sharey=True, tight_layout=True)
fig.set_figheight(5)
fig.set_figwidth(15)
axs[0].hist(cp.asnumpy(x_gpu), bins=n_bins)
axs[0].set_title('input',fontsize=15)
axs[1].hist(cp.asnumpy(r_gpu), bins=n_bins)
axs[1].set_title('transform',fontsize=15)
_ = axs[2].hist(cp.asnumpy(x_inv_gpu), bins=n_bins)
axs[2].set_title('inverse transform',fontsize=15)
print('GaussRank GPU')

					

GaussRank GPU

一个真实的例子

对于本例，我们将使用 CHAMPS 分子性质预测数据集。这项任务是预测八种不同化学键类型的分子中原子对之间的标量耦合常数（基本真理）。具有挑战性的是，对于每种键类型，基本真值的分布都有很大的不同，均值和方差也不同。这使得神经网络很难收敛。

图 2 ：每种键合类型的基本事实分布。

因此，我们将高斯秩变换应用于训练数据的基本事实，为所有键类型创建一个统一的干净高斯分布。

图 3 ：使用 GaussRank 转换基本事实的工作流程。

在这个回归任务中，使用 GaussRank 变换训练数据的基本事实。

为了进行推断，我们将反高斯秩变换应用于测试数据的预测，以便它们匹配每种键类型的原始不同分布。由于测试数据中目标的真实分布是未知的，因此根据训练数据中目标变量的分布计算测试数据预测的逆变换。应该注意的是，这种逆变换只需要用于目标变量。

图 4 ：预测被反变换以匹配原始分布。

通过运用这一技巧平均绝对误差（ LMAE ）的对数 of our message passing neural network is improved by 18%！

请记住 GaussRank 确实有一些限制：

它只适用于连续变量，并且

如果输入已经接近高斯分布，或者非常不对称，则性能 MIG ht 不会得到改善，甚至变得更差。

高斯秩变换与各种神经网络的相互作用是一个非常活跃的研究课题。

加速

我们测量变换和反变换的总时间。对于正在进行的 CHAMPS 数据集， cuDF + CuPy 在单个 NVIDIA V100 GPU 上的实现在 Intel Xeon CPU 上实现了比 pandas + NumPy 快 25 倍。我们生成合成随机数据以进行更全面的比较。对于 10M 及以上的数据点，我们的 RAPIDS 实现比快 100 倍。多

图 5 ： GaussRank 变换+反变换对合成随机数据的加速比较。

结论

RAPIDS 在提供惊人的性能方面取得了长足的进步，代码几乎没有变化。这篇博文展示了使用 RAPIDS cuDF 和 CuPy 作为 pandas 和 NumPy 的替代品来实现 gpu 性能改进是多么容易。如中所示完整的笔记本，通过只添加两行代码，高斯秩变换检测到输入张量在 GPU 上，并自动从 pandas + NumPy 切换到 cuDF + CuPy 。再简单不过了。

关于作者

Jiwei Liu 是 NVIDIA 的数据科学家，致力于 NVIDIA 人工智能基础设施，包括 RAPIDS 数据科学框架。

审核编辑：郭婷

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

神经网络

神经网络

+关注

关注
42

文章
4771

浏览量
100739
gpu

gpu

+关注

关注
28

文章
4733

浏览量
128911

傅立叶变换的基本概念傅立叶变换在信号处理中的应用

傅里叶变换的基本概念傅里叶变换是一种数学变换，它能够将满足一定条件的某个函数表示成三角函数（正弦和/或余弦函数）或者它们的积分的线性组合。这种变换在不同的研究领域有多种变体形式，如连

发表于 12-06 16:48 •230次阅读

RAPIDS cuDF将pandas提速近150倍

在 NVIDIA GTC 2024 上，NVIDIA 宣布，RAPIDS cuDF 当前已能够为 950 万 pandas 用户带来 GPU 加速，且无需修改代码。

发表于 11-20 09:52 •167次阅读

<b class='flag-5'>RAPIDS</b> cuDF将pandas提速近150倍

经典傅里叶变换与快速傅里叶变换的区别

经典傅里叶变换与快速傅里叶变换（FFT）在多个方面存在显著的区别，以下是对这两者的比较：一、定义与基本原理经典傅里叶变换：是一种将满足一定条件的某个函数表示成三角函数（正弦和/或余弦函数

发表于 11-14 09:37 •333次阅读

dcdc变换器有几种变换形式

DC-DC变换器是电力电子领域中的一种重要设备，它能够将一个电压等级的直流电源转换为另一个电压等级的直流电源。DC-DC变换器在现代电力电子威廉希尔官方网站中扮演着至关重要的角色，广泛应用于便携式电子设备

发表于 09-30 16:25 •399次阅读

利用NVIDIA RAPIDS加速DolphinDB Shark平台提升计算性能

DolphinDB 是一家高性能数据库研发企业，也是 NVIDIA 初创加速计划成员，其开发的产品基于高性能分布式时序数据库，是支持复杂计算和流数据分析的实时计算平台，适用于金融、电力、物联网和零售等行业。

发表于 09-09 09:57 •454次阅读

利用NVIDIA <b class='flag-5'>RAPIDS</b><b class='flag-5'>加速</b>DolphinDB Shark平台提升计算性能

数据中心应用中适用于Intel Xeon Sapphire Rapids可扩展处理器的负载点解决方案

电子发烧友网站提供《数据中心应用中适用于Intel Xeon Sapphire Rapids可扩展处理器的负载点解决方案.pdf》资料免费下载

发表于 09-03 11:20 •0次下载

数据中心应用中适用于Intel Xeon Sapphire <b class='flag-5'>Rapids</b>可扩展处理器的负载点解决方案

负阻抗变换器如何实现负阻变换

负阻抗变换器（NIC, Negative Impedance Converters）实现负阻变换的过程主要基于有源电路元件（如运算放大器、晶体管等）的放大和反馈机制。以下是负阻抗变换器实现负阻

发表于 08-28 15:09 •505次阅读

数据中心应用中适用于Intel® Xeon® Sapphire Rapids可扩展处理器的负载点解决方案

电子发烧友网站提供《数据中心应用中适用于Intel® Xeon® Sapphire Rapids可扩展处理器的负载点解决方案.pdf》资料免费下载

发表于 08-26 09:54 •0次下载

如何降低变换器的工作温度

的工作温度不仅会降低变换器的效率，还可能加速元器件老化，缩短变换器的使用寿命，甚至引发故障。因此，采取有效措施降低变换器的工作温度至关重要。以下将从多个方面详细阐述如何降低

发表于 08-14 17:23 •375次阅读

SEMICON China 2024 国际半导体展圆满收官，加速科技硬核产品实力圈粉！我们明年再见！

加速科技

加速科技
发布于 :2024年03月29日 16:36:28

英特尔官宣Granite Rapids-D至强处理器

英特尔在MWC 2024上正式官宣了Granite Rapids-D至强处理器，这一面向电信及边缘应用领域的创新产品预计将于明年正式发布。这一举动无疑将在行业内引发广泛关注，为电信和边缘计算领域带来前所未有的性能提升和效率优化。

发表于 03-07 18:17 •1381次阅读

傅里叶变换和拉普拉斯变换的关系是什么

傅里叶变换和拉普拉斯变换是两种重要的数学工具，常用于信号分析和系统理论领域。虽然它们在数学定义和应用上有所差异，但它们之间存在紧密的联系和相互依存的关系。首先，我们先介绍一下傅里叶变换和拉普拉斯

发表于 02-18 15:45 •1696次阅读

加速科技全新年末贺岁片《路遥遥知马力》上线，谨以此片致敬我们波澜壮阔的2023！

加速科技

加速科技
发布于 :2024年01月22日 16:47:55

什么是傅里叶变换和逆变换?为什么要用傅里叶变换?

傅里叶变换和逆变换是一对数学变换，用于分析信号和数据的频域特征。傅里叶变换将一个信号或函数从时间域转换到频域，而逆变换则将

发表于 01-11 17:19 •3862次阅读

短时傅里叶变换STFT原理详解

传统傅里叶变换的分析方法大家已经非常熟悉了，特别是快速傅里叶变换(FFT)的高效实现给数字信号处理威廉希尔官方网站的实时应用创造了条件，从而加速了数字信号处理威廉希尔官方网站的发展。

发表于 01-07 09:46 •2878次阅读

搜索历史

如何使用RAPIDS和CuPy时加速Gauss 秩变换

GaussRank transformation

Inverse transformation step by step

评论

傅立叶变换的基本概念傅立叶变换在信号处理中的应用

RAPIDS cuDF将pandas提速近150倍

经典傅里叶变换与快速傅里叶变换的区别

dcdc变换器有几种变换形式

利用NVIDIA RAPIDS加速DolphinDB Shark平台提升计算性能

数据中心应用中适用于Intel Xeon Sapphire Rapids可扩展处理器的负载点解决方案

负阻抗变换器如何实现负阻变换

数据中心应用中适用于Intel® Xeon® Sapphire Rapids可扩展处理器的负载点解决方案

如何降低变换器的工作温度

SEMICON China 2024 国际半导体展圆满收官，加速科技硬核产品实力圈粉！我们明年再见！

英特尔官宣Granite Rapids-D至强处理器

傅里叶变换和拉普拉斯变换的关系是什么

加速科技全新年末贺岁片《路遥遥知马力》上线，谨以此片致敬我们波澜壮阔的2023！

什么是傅里叶变换和逆变换?为什么要用傅里叶变换?

短时傅里叶变换STFT原理详解