线程池创建的两种方法

2022-3-16 16:15:35 865 python 线程池

0 1. 使用内置模块在使用多线程处理任务时也不是线程越多越好，由于在切换线程的时候，需要切换上下文环境，依然会造成cpu的大量开销。为解决这个问题，线程池的概念被提出来了。预先创建好一个合理数量的线程池，让过来的任务立刻能够使用，就形成了线程池。在Python3中，创建线程池是通过concurrent.futures函数库中的ThreadPoolExecutor类来实现的。 import time import threading from concurrent.futures import ThreadPoolExecutor def target(): for i in range(5): print('running thread-{}:{}'.format(threading.get_ident(), i)) time.sleep(1) # 创建一个最大容纳数量为5的线程池 pool = ThreadPoolExecutor(5) for i in range(10): # 往线程池上塞任务 pool.submit(target) 复制代码创建线程池还可以使用更优雅的方式，就是使用上下文管理器 with ThreadPoolExecutor(5) as pool: for i in range(100): pool.submit(target) 复制代码直接运行代码，从输出可以看出，前面我们设置线程池最大线程数，会保证“同时”仅有五个线程在工作。 running thread-123145483767808:0 running thread-123145489022976:0 running thread-123145494278144:0 running thread-123145499533312:0 running thread-123145504788480:0 running thread-123145483767808:1 running thread-123145489022976:1 running thread-123145499533312:1 running thread-123145494278144:1 running thread-123145504788480:1 running thread-123145489022976:2 running thread-123145499533312:2 running thread-123145483767808:2 running thread-123145504788480:2 running thread-123145494278144:2 .... 复制代码示例完毕，来说明一下：使用 with 语句，通过 ThreadPoolExecutor 构造实例，同时传入 max_workers 参数来设置线程池中最多能同时运行的线程数目。使用 submit 函数来提交线程需要执行的任务到线程池中，并返回该任务的句柄（类似于文件、画图），注意 submit() 不是阻塞的，而是立即返回。通过使用 done() 方法判断该任务是否结束。上面的例子可以看出，提交任务后立即判断任务状态，显示四个任务都未完成。在延时2.5后，task1 和 task2 执行完毕，task3 仍在执行中。使用 result() 方法可以获取任务的返回值。 2. 自定义线程池除了使用上述第三方模块的方法之外，我们还可以自己结合前面所学的消息队列来自定义线程池。这里我们就使用queue来实现一个上面同样效果的例子，大家感受一下。 import time import threading from queue import Queue def target(queue): while True: task = queue.get() if task == "stop": queue.task_done() break task() queue.task_done() def do_task(): for i in range(5): print('running thread-{}:{}'.format(threading.get_ident(), i)) time.sleep(1) class MyQueue(Queue): def close(self): for i in range(self.maxsize): self.put("stop") def custome_pool(task_func, max_workers): queue = MyQueue(max_workers) for n in range(max_workers): t = threading.Thread(target=task_func, args=(queue,)) t.daemon = True t.start() return queue pool = custome_pool(task_func=target, max_workers=5) for i in range(10): pool.put(do_task) pool.close() pool.join() 复制代码输出是和上面是完全一样的效果 running thread-123145469886464:0 running thread-123145475141632:0 running thread-123145485651968:0 running thread-123145490907136:0 running thread-123145480396800:0 running thread-123145469886464:1 running thread-123145480396800:1 running thread-123145475141632:1 running thread-123145490907136:1 running thread-123145485651968:1 ... 复制代码构建线程池的方法，是可以很灵活的，大家有空可以自己多研究。但是建议只要掌握一种自己熟悉的，能快速上手的就好了。 0
2022-3-16 16:15:35　　评论淘帖0 举报相关推荐 • python创建线程池的两种方法 6006 • python创建多线程的两种方法 5335 • python创建多线程的两种方法 1758 • 创建主/从SPI接口的两种方法详谈 6486 • 突发功率测量的两种方法 1556 • 线程池的创建方式有几种 914 • 消除按键抖动的两种方法分享 4987 • 数字量化的两种方法 4039 • 提升家里网速的两种方法 14629 • 进行PLC编程的两种方法分享 1145