0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

解读12 种 Numpy 和 Pandas 高效函数技巧

马哥Linux运维 来源:机器之心编译 作者:Kunal Dhariwal 2021-06-29 17:05 次阅读

本文分享给大家 12 种 Numpy 和 Pandas 函数,这些高效的函数会令数据分析更为容易、便捷。最后,读者也可以在 GitHub 项目中找到本文所用代码的 Jupyter Notebook。

项目地址:https://github.com/kunaldhariwal/12-Amazing-Pandas-NumPy-Functions

Numpy 的 6 种高效函数

首先从 Numpy 开始。Numpy 是用于科学计算的 Python 语言扩展包,通常包含强大的 N 维数组对象、复杂函数、用于整合 C/C++和 Fortran 代码的工具以及有用的线性代数、傅里叶变换和随机数生成能力。

除了上面这些明显的用途,Numpy 还可以用作通用数据的高效多维容器(container),定义任何数据类型。这使得 Numpy 能够实现自身与各种数据库的无缝、快速集成。

接下来一一解析 6 种 Numpy 函数。

1、argpartition()

借助于 argpartition(),Numpy 可以找出 N 个最大数值的索引,也会将找到的这些索引输出。然后我们根据需要对数值进行排序。

x = np.array([12, 10, 12, 0, 6, 8, 9, 1, 16, 4, 6, 0])index_val = np.argpartition(x, -4)[-4:]

index_val

array([1, 8, 2, 0], dtype=int64)np.sort(x[index_val])

array([10, 12, 12, 16])

2、allclose()

allclose() 用于匹配两个数组,并得到布尔值表示的输出。如果在一个公差范围内(within a tolerance)两个数组不等同,则 allclose() 返回 False。该函数对于检查两个数组是否相似非常有用。

array1 = np.array([0.12,0.17,0.24,0.29])

array2 = np.array([0.13,0.19,0.26,0.31])# with a tolerance of 0.1, it should return False:

np.allclose(array1,array2,0.1)

False# with a tolerance of 0.2, it should return True:

np.allclose(array1,array2,0.2)

True

3、clip()

Clip() 使得一个数组中的数值保持在一个区间内。有时,我们需要保证数值在上下限范围内。为此,我们可以借助 Numpy 的 clip() 函数实现该目的。给定一个区间,则区间外的数值被剪切至区间上下限(interval edge)。

x = np.array([3, 17, 14, 23, 2, 2, 6, 8, 1, 2, 16, 0])np.clip(x,2,5)

array([3, 5, 5, 5, 2, 2, 5, 5, 2, 2, 5, 2])

4、extract()

顾名思义,extract() 是在特定条件下从一个数组中提取特定元素。借助于 extract(),我们还可以使用 and 和 or 等条件。

# Random integers

array = np.random.randint(20, size=12)

array

array([ 0, 1, 8, 19, 16, 18, 10, 11, 2, 13, 14, 3])# Divide by 2 and check if remainder is 1

cond = np.mod(array, 2)==1

cond

array([False, True, False, True, False, False, False, True, False, True, False, True])# Use extract to get the values

np.extract(cond, array)

array([ 1, 19, 11, 13, 3])# Apply condition on extract directly

np.extract(((array 《 3) | (array 》 15)), array)

array([ 0, 1, 19, 16, 18, 2])

5、where()

Where() 用于从一个数组中返回满足特定条件的元素。比如,它会返回满足特定条件的数值的索引位置。Where() 与 SQL 中使用的 where condition 类似,如以下示例所示:

y = np.array([1,5,6,8,1,7,3,6,9])# Where y is greater than 5, returns index position

np.where(y》5)

array([2, 3, 5, 7, 8], dtype=int64),)# First will replace the values that match the condition, # second will replace the values that does not

np.where(y》5, “Hit”, “Miss”)

array([ Miss , Miss , Hit , Hit , Miss , Hit , Miss , Hit , Hit ],dtype= 《U4 )

6、percentile()

Percentile() 用于计算特定轴方向上数组元素的第 n 个百分位数。

a = np.array([1,5,6,8,1,7,3,6,9])print(“50th Percentile of a, axis = 0 : ”,

np.percentile(a, 50, axis =0))

50th Percentile of a, axis = 0 : 6.0b = np.array([[10, 7, 4], [3, 2, 1]])print(“30th Percentile of b, axis = 0 : ”,

np.percentile(b, 30, axis =0))

30th Percentile of b, axis = 0 : [5.1 3.5 1.9]

这就是 Numpy 扩展包的 6 种高效函数,相信会为你带来帮助。接下来看一看 Pandas 数据分析库的 6 种函数。

Pandas的 6 种高效函数

Pandas 也是一个 Python 包,它提供了快速、灵活以及具有显著表达能力的数据结构,旨在使处理结构化 (表格化、多维、异构) 和时间序列数据变得既简单又直观。

Pandas 适用于以下各类数据:

具有异构类型列的表格数据,如 SQL 表或 Excel 表;

有序和无序 (不一定是固定频率) 的时间序列数据;

带有行/列标签的任意矩阵数据(同构类型或者是异构类型);

其他任意形式的统计数据集。事实上,数据根本不需要标记就可以放入 Pandas 结构中。

1、read_csv(nrows=n)

大多数人都会犯的一个错误是,在不需要.csv 文件的情况下仍会完整地读取它。如果一个未知的.csv 文件有 10GB,那么读取整个.csv 文件将会非常不明智,不仅要占用大量内存,还会花很多时间。我们需要做的只是从.csv 文件中导入几行,之后根据需要继续导入。

import io

import requests# I am using this online data set just to make things easier for you guys

url = “https://raw.github.com/vincentarelbundock/Rdatasets/master/csv/datasets/AirPassengers.csv”

s = requests.get(url).content# read only first 10 rows

df = pd.read_csv(io.StringIO(s.decode( utf-8 )),nrows=10 , index_col=0)

2、map()

map( ) 函数根据相应的输入来映射 Series 的值。用于将一个 Series 中的每个值替换为另一个值,该值可能来自一个函数、也可能来自于一个 dict 或 Series。

# create a dataframe

dframe = pd.DataFrame(np.random.randn(4, 3), columns=list( bde ), index=[ India , USA , China , Russia ])#compute a formatted string from each floating point value in frame

changefn = lambda x: %.2f % x# Make changes element-wise

dframe[ d ].map(changefn)

3、apply()

apply() 允许用户传递函数,并将其应用于 Pandas 序列中的每个值。

# max minus mix lambda fn

fn = lambda x: x.max() - x.min()# Apply this on dframe that we ve just created above

dframe.apply(fn)

4、isin()

lsin () 用于过滤数据帧。Isin () 有助于选择特定列中具有特定(或多个)值的行。

# Using the dataframe we created for read_csv

filter1 = df[“value”].isin([112])

filter2 = df[“time”].isin([1949.000000])df [filter1 & filter2]

5、copy()

Copy () 函数用于复制 Pandas 对象。当一个数据帧分配给另一个数据帧时,如果对其中一个数据帧进行更改,另一个数据帧的值也将发生更改。为了防止这类问题,可以使用 copy () 函数。

# creating sample series

data = pd.Series([ India , Pakistan , China , Mongolia ])# Assigning issue that we face

data1= data

# Change a value

data1[0]= USA

# Also changes value in old dataframe

data# To prevent that, we use# creating copy of series

new = data.copy()# assigning new values

new[1]= Changed value # printing data print(new)

print(data)

6、select_dtypes()

select_dtypes() 的作用是,基于 dtypes 的列返回数据帧列的一个子集。这个函数的参数可设置为包含所有拥有特定数据类型的列,亦或者设置为排除具有特定数据类型的列。

# We ll use the same dataframe that we used for read_csv

framex = df.select_dtypes(include=“float64”)# Returns only time column

最后,pivot_table( ) 也是 Pandas 中一个非常有用的函数。如果对 pivot_table( ) 在 excel 中的使用有所了解,那么就非常容易上手了。

# Create a sample dataframe

school = pd.DataFrame({ A : [ Jay , Usher , Nicky , Romero , Will ],

B : [ Masters , Graduate , Graduate , Masters , Graduate ],

C : [26, 22, 20, 23, 24]})# Lets create a pivot table to segregate students based on age and course

table = pd.pivot_table(school, values = A , index =[ B , C ],

columns =[ B ], aggfunc = np.sum, fill_value=“Not Available”)

table

原文链接:https://towardsdatascience.com/12-amazing-pandas-numpy-functions-22e5671a45b8

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • SQL
    SQL
    +关注

    关注

    1

    文章

    762

    浏览量

    44118
  • 函数
    +关注

    关注

    3

    文章

    4329

    浏览量

    62578
  • 代码
    +关注

    关注

    30

    文章

    4780

    浏览量

    68541

原文标题:12种Numpy&Pandas高效技巧

文章出处:【微信号:magedu-Linux,微信公众号:马哥Linux运维】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    RAPIDS cuDF将pandas提速近150倍

    在 NVIDIA GTC 2024 上,NVIDIA 宣布,RAPIDS cuDF 当前已能够为 950 万 pandas 用户带来 GPU 加速,且无需修改代码。
    的头像 发表于 11-20 09:52 165次阅读
    RAPIDS cuDF将<b class='flag-5'>pandas</b>提速近150倍

    4G模组加解密艺术:通用函数的深度解读

    今天是对加解密通用函数的深度解读,我将详细讲解,建议收藏,不可错过。
    的头像 发表于 11-12 09:58 236次阅读
    4G模组加解密艺术:通用<b class='flag-5'>函数</b>的深度<b class='flag-5'>解读</b>

    如何优化SUMIF函数的效率

    : 1. 使用数组公式 数组公式可以同时处理多个数据点,而不是逐个计算,这可以显著提高效率。例如,你可以使用 SUM 和 IF 函数的组合来创建一个数组公式: =SUM(IF(条件范围=条件, 求和范围
    的头像 发表于 11-11 09:20 335次阅读

    SUMIF函数与SUMIFS函数的区别

    SUMIF函数和SUMIFS函数都是Excel中用于条件求和的函数,它们可以帮助用户根据特定的条件对数据进行求和。尽管它们的基本功能相似,但在使用场景和功能上存在一些差异。以下是对这两个函数
    的头像 发表于 10-30 09:51 1036次阅读

    Python常用函数大全

    在 Python 世界里,有一些宝藏函数和模块,它们可以让你编程更轻松、代码更高效。这篇文章将带你一一认识这些神器,让你的开发生活瞬间轻松不少!
    的头像 发表于 10-27 17:20 238次阅读

    语义分割25损失函数综述和展望

    本综述提供了对25用于图像分割的损失函数的全面且统一的回顾。我们提供了一新颖的分类法,并详细审查了这些损失函数如何在图像分割中被定制和利用,强调了它们的重要特征和应用,并进行了系统
    的头像 发表于 10-22 08:04 483次阅读
    语义分割25<b class='flag-5'>种</b>损失<b class='flag-5'>函数</b>综述和展望

    逻辑函数的化简方法有哪两

    摩根定律、分配律、结合律、吸收律、互补律等)对逻辑函数进行变换,从而得到最简形式。这种方法通常需要对逻辑表达式进行多次变换,直到无法再进一步简化为止。 卡诺图化简法 :卡诺图(Karnaugh Map, K-Map)是一图形化的化简方法。
    的头像 发表于 08-22 16:40 753次阅读

    使用NumPy实现前馈神经网络

    要使用NumPy实现一个前馈神经网络(Feedforward Neural Network),我们需要从基础开始构建,包括初始化网络参数、定义激活函数及其导数、实现前向传播、计算损失函数、以及实现
    的头像 发表于 07-11 16:30 1631次阅读

    pytorch如何训练自己的数据

    (https://pytorch.org/)来获取安装指令。安装完成后,我们还需要安装一些常用的库,如NumPyPandas、Matplotlib等。 pip install torch numpy
    的头像 发表于 07-11 10:04 523次阅读

    python 学习:在内网中 python库-numpy 安装方法,升级pip3版本的指令

    指令格式如下:先下载numpy库到C盘具体位置 手动安装指令如下: pip install c:\\\\users\\\\sesa738142
    发表于 04-22 17:18

    回调函数(callback)是什么?回调函数的实现方法

    回调函数是一特殊的函数,它作为参数传递给另一个函数,并在被调用函数执行完毕后被调用。回调函数
    发表于 03-12 11:46 2905次阅读

    函数指针与回调函数的应用实例

    通常我们说的指针变量是指向一个整型、字符型或数组等变量,而函数指针是指向函数函数指针可以像一般函数一样,用于调用函数、传递参数。
    的头像 发表于 03-07 11:13 400次阅读
    <b class='flag-5'>函数</b>指针与回调<b class='flag-5'>函数</b>的应用实例

    函数发生器的作用,概念要点是什么

    函数生成器是Python中非常强大的特性之一。它们允许我们以一简洁且高效的方式生成迭代器,从而帮助我们更好地处理大量数据或者在特定条件下生成无限数据。在本文中,我们将探讨函数生成器的
    的头像 发表于 02-23 16:01 534次阅读

    verilog function函数的用法

    Verilog 是一硬件描述语言 (HDL),主要用于描述数字电子电路的行为和结构。在 Verilog 中,函数 (Function) 是一用于执行特定任务并返回一个值的可重用代码块。函数
    的头像 发表于 02-22 15:49 5567次阅读

    基于NumPy的机器学习算法实现

    David Bourgin 表示他一直在慢慢写或收集不同模型与模块的纯 NumPy 实现,它们跑起来可能没那么快,但是模型的具体过程一定足够直观。每当我们想了解模型 API 背后的实现,却又不想看复杂的框架代码,那么它可以作为快速的参考。
    发表于 01-17 12:36 200次阅读
    基于<b class='flag-5'>NumPy</b>的机器学习算法实现