0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Python中三个json组件的安装方式

马哥Linux运维 来源:博客 作者:隔叶黄莺 2021-09-23 14:35 次阅读

Python 使用用 json.dumps(data) 时突然发现特别慢,data 本身不大,但是一个包含很多元素的列表,所以促使本人寻找一个替代的 JSON 处理库。大概对比了一个 ujson(UtltraJSON), python-rapidjson(RapidJSON) 和 Python 自带的 json 库。还有一个 simplejson 是为兼容 Python 2.6 以前用的(json 是 Python 2.6 新加入的 API),性能有些差。基本上姜还是老的辣,想要收获更好的性能,还得仰赖传统的 C/C++ 语言,ujson 是用纯 C 写的,RapidJSON 是 C++ 写的,后者还是十美分的开源产品。json, ujson, rapidjson 三者 loads() 方法的性能差别不太明显,但 dumps() 大对象时 Python 自带的 json 库就要考验用户的耐心了。注:最开始本来认定了 ujson 为最佳选择, 所以先从 usjon 和 rapidjson 切入的,后来写作本文的过程中,从 usjon 的自我介绍中发现了 Rust 写的 orjson 很显眼,才加入了 orjson 的测试,看来 orjson 更值得拥有。以上三个 json 组件的安装方式分别为

pip install python-rapidjson

$ pip install simplejson

自己测试了一个 ujson 和 rapidjson 与 Python json 库的 dumps() 的性能,simpejson 不太考虑了。测试代码如下

# test.py

from time import timeimport sysimport string

num = int(sys.argv[1])lib = sys.argv[2]

items = []for i in range(num): items.append({c:c for c in string.ascii_letters})start = time()if lib == ‘ujson’: import ujson ujson.dumps(items)elif lib == ‘rapidjson’: import rapidjson rapidjson.dumps(items)else: import json json.dumps(items)

print(time() - start)

执行 python 1000|10000|100000|1000000 json|ujson|rapidjson, 试结果统计如下(数字为不同情况下的耗时):

31709712-0fb2-11ec-8fb8-12bb97331649.png

基本上测试的性能和 Benchmark of Python JSON libraries 中的是一致的。从原文中截取了两张图如下:

317e661c-0fb2-11ec-8fb8-12bb97331649.png

在 UltraJSON 的 Github 项目页面中也有对比 ujson, nujson, orjson, simplejson, json 的 Benchmarks。其中列出的 orjson(pip install orjson) 和 nujson(pip install nujson, Fork 了 UltraJSON 来支持 Numpy 序列化的) 性能表现上不错,orjson 表现上比 ujson 还更为卓越。

看到了 orjson 后,赶紧做个对比测试,在上面的 test.py 代码中再加上

elif lib == ‘orjson’: import orjson orjson.dumps(items)

再列出完整的对比数据

319ddc4a-0fb2-11ec-8fb8-12bb97331649.png

继续翻看 orjson 的 Github 主页面 ijl/orjson, 它既非用 C 也不是用 C++ 写的,而是 Rust 语言,真是让我眼前一亮,Rust 程序运行速度真的能与 C/C++ 相媲美的。写到这里我要开始改变当初只认 ujson 的主意了,orjson 或许是更佳的选择, 本文的标题也由最初拟定的 “Python 处理 JSON 必要时我选择 ujson(UltraJSON)” 变成了 “Python 处理 JSON 必要时我选择 ujson 和 orjson”。这也是写博客时,尽可能收集更多的素材多的魅力。

补充一下,orjson 的 dumps() 函数使用略有不同,不再用 indent 参数,并且返回值是 bytes,所以格式化成字符串的写法如下

import orjson

json_str = orjson.dumps(record, option=orjson.OPT_INDENT_2).decode()

另外,在使用 ujson 时碰到的一个 bug 也顺便记录在此,就不立新篇了,反正现在找东西都不太看标题,而是 Google 到其中的内容。ujson 3.0.0 和 3.1.0 版本的 dumps() 的 indent 参数工作不正常,有个未关闭的 ticket ‘indent’ parameter for dumps doesn‘t indent properly in 3.0.0 #415。比如使用 ujson 3.1.0 时的现像是

》》》 import ujson》》》 ujson.dumps({’a‘: 1, ’b‘: 2})’{“a”:1,“b”:2}‘

》》》 ujson.dumps({’a‘: 1, ’b‘: 2}, indent=0)’{“a”:1,“b”:2}‘

》》》 ujson.dumps({’a‘: 1, ’b‘: 2}, indent=1)’{

“a”: 1,

“b”: 2

}‘

》》》 ujson.dumps({’a‘: 1, ’b‘: 2}, indent=2)’{

“a”: 1,

“b”: 2

}‘

》》》 ujson.dumps({’a‘: 1, ’b‘: 2}, indent=8)’{

“a”: 1,

“b”: 2

}‘

indent 大于 1 时都当作 1。

换回到 ujson 2.0.3 版本时没问题

》》》 import ujson》》》 ujson.dumps({’a‘: 1, ’b‘: 2}, indent=2)’{

“a”: 1,

“b”: 2

}‘

》》》 ujson.dumps({’a‘: 1, ’b‘: 2}, indent=8)’{

“a”: 1,

“b”: 2

}‘

在这个问题未解决之前就暂时用 pip install ujson==2.0.3 安装 ujson 2.0.3 吧,但是这个版本无法序列化 datetime 类型。

原文链接:https://yanbin.blog/python-json-choose-ujson-if-necessary/

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • python
    +关注

    关注

    56

    文章

    4793

    浏览量

    84631
  • JSON
    +关注

    关注

    0

    文章

    117

    浏览量

    6963

原文标题:Python 处理 JSON 我选择 ujson 和 orjson

文章出处:【微信号:magedu-Linux,微信公众号:马哥Linux运维】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    霍尔传感器在相直流无刷电机中的安装使用

    相直流无刷电机中,通常会使用三个霍尔传感器来检测转子的位置,这三个霍尔传感器的安装通常有两种方式:120度电角度
    的头像 发表于 12-09 15:20 200次阅读
    霍尔传感器在<b class='flag-5'>三</b>相直流无刷电机中的<b class='flag-5'>安装</b>使用

    在4片ADS127L11使用菊花链方式连接时,DRDY,START,RESET,每一片子的这三个管脚怎么接?

    在4片ADS127L11使用菊花链方式连接时候。DRDY,START,RESET,每一片子的这三个管脚怎么接?是分别都接mcu还是只用第一的ADS127L11的这
    发表于 11-20 07:54

    可调电阻三个脚怎么接 可调电阻怎么测量好坏

    可调电阻,也称为电位器,是一种可以调节电阻值的电子元件。它通常有三个引脚:两固定端和一可动端(或称为中间抽头)。可调电阻的三个脚的连接方式
    的头像 发表于 10-18 14:45 1546次阅读

    三个电流怎么判断NPN还是PNP

    在判断晶体管是NPN型还是PNP型时,主要依据是其内部半导体材料的排列方式以及电流在晶体管中的流动方向。阐述如何根据三个电流(通常指的是发射极电流IE、基极电流IB和集电极电流IC)来判断NPN和PNP晶体管。
    的头像 发表于 09-14 15:44 1137次阅读

    基本理想电路元件的三个特征是什么

    基本理想电路元件是构成电路的基本单元,它们具有三个基本特征:电压-电流关系、能量转换和电路参数。以下是对这三个特征的分析: 电压-电流关系 理想电路元件的电压-电流关系是其最基本的特征之一。这种关系
    的头像 发表于 08-25 09:38 1080次阅读

    可调变阻器三个引脚怎么区分

    可调变阻器,也称为电位器或可变电阻器,是一种可以调节电阻值的电子元件。它广泛应用于各种电子设备中,如音频设备、电源管理、电机控制等。可调变阻器有三个引脚,分别是固定端、滑动端和可调端。这三个引脚
    的头像 发表于 07-24 11:12 1195次阅读

    espidf组件是否有json组包或者messagePack的库文件?

    espidf组件是否有json组包或者messagePack的库文件
    发表于 06-21 07:10

    微波测量的三个基本参量是什么

    微波测量是电子工程领域中的一重要分支,它涉及到对微波信号的频率、幅度、相位等参数的测量。在微波测量中,有三个基本参量:频率、幅度和相位。这三个参量是微波信号的基本特征,对于微波系统的设计、调试
    的头像 发表于 05-28 14:46 1333次阅读

    如何判断极管的三个极性

    极管是电子电路中的基本元件之一,其性能的好坏直接影响到整个电路的性能。而判断极管的三个极性(基极b、发射极e、集电极c)是电路分析和设计中不可或缺的一步。下面将详细介绍判断极管
    的头像 发表于 05-21 15:26 6412次阅读

    篱笆三个桩——记晶体极管的发明

    篱笆三个桩——记晶体极管的发明
    的头像 发表于 05-12 08:14 720次阅读
    一<b class='flag-5'>个</b>篱笆<b class='flag-5'>三个</b>桩——记晶体<b class='flag-5'>三</b>极管的发明

    人机交互的三个阶段 人机交互的常用方式

    机交互经历的三个阶段:命令行界面交互阶段、图形用户界面交互阶段、自然和谐的人机交互阶段。
    的头像 发表于 03-13 17:25 3031次阅读

    基于Python的地图绘制教程

    本文将介绍通过Python绘制地形图的方法,所需第Python相关模块包括 rasterio、geopandas、cartopy 等,可通过 pip 等方式
    的头像 发表于 02-26 09:53 1199次阅读
    基于<b class='flag-5'>Python</b>的地图绘制教程

    飞机的三个舵面以及如何控制

    飞机通常具有三个主要的舵面,它们是方向舵(rudder)、副翼(aileron)和升降舵(elevator)。
    发表于 01-15 14:54 5718次阅读
    飞机的<b class='flag-5'>三个</b>舵面以及如何控制

    VISA共享组件怎么安装

    用户更好地管理和控制不同设备间的通信。本文将详细介绍VISA共享组件安装步骤,并提供安装过程中需要特别注意的事项。 第一部分:准备工作 确认系统要求:在安装VISA共享
    的头像 发表于 01-04 14:33 1374次阅读

    使用Chiplet的三个优势介绍

    小芯片的第三个主要好处是,即使是首次设计,它们也可以显著加快上市时间,从而使芯片制造商能够更快地进入市场。
    的头像 发表于 12-27 14:34 721次阅读
    使用Chiplet的<b class='flag-5'>三个</b>优势介绍