群发资讯网

千万别再用Python的time.sleep做轮询,我换成事件驱动后CPU从90

千万别再用Python的time.sleep做轮询,我换成事件驱动后CPU从90%降到5%,这坑太多人还在踩
我维护过一个采集程序。这个程序要盯着一个任务队列。队列里有任务就取出来跑。没任务就等一下再看。
最开始我写得很直接。一个while循环。查一次队列。没有任务就sleep一秒。再查。
代码大概是这样。
import time
def worker():
while True:
task = get_task()
if task:
run(task)
else:
time.sleep(1)
单机跑的时候没感觉。后来任务多了。我开了八个进程一起跑。机器就开始叫了。CPU一直挂在90%以上。我上top看了一眼。进程大部分时间不在干活。都在空转。一秒查一次。八个进程就是每秒八次无效查询。队列里没任务的时候这些查询全是白费。
我把sleep改成了0.1秒。想着反应快一点。结果CPU更高了。这条路走不通。
问题不在sleep长短。问题在轮询这个方式本身。 你在用固定的频率去猜队列有没有任务。猜得越勤。浪费越多。
后来我换了个思路。让队列主动通知我。有任务就喊我一声。没任务我就等着。不查了。
Python里做这件事用threading.Event。生产者往队列放任务的时候。把事件set一下。消费者在事件上wait。没任务就一直挂着。不占CPU。
代码改成这样。
import threading
event = threading.Event()
def worker():
while True:
event.wait()
task = get_task()
if task:
run(task)
else:
event.clear()
def producer(task):
put_task(task)
event.set()
这里有个细节要注意。消费者取完任务要把事件clear掉。不然事件一直处于set状态。wait就不阻塞了。又变回空转。这个顺序不能反。先取任务。确认取空了。再clear。
如果队列本身支持阻塞读取。其实连Event都不用。Python的queue.Queue自带get(block=True)。没任务的时候调用会挂住。有任务自动唤醒。这是最省事的做法。
from queue import Queue
q = Queue()
def worker():
while True:
task = q.get()
run(task)
q.task_done()
q.get()默认就是阻塞的。队列空的时候线程挂起。不消耗CPU。有数据进来内核直接唤醒。八个进程挂在那里。CPU占用接近零。
我改完之后跑了一晚上。CPU从90%掉到5%左右。5%还是处理任务本身的消耗。空转那部分彻底没了。响应速度也没变慢。任务一进来马上就被取走。比原来一秒查一次快多了。
这件事让我记住一个点。 sleep加循环不是等待。是假装等待。真正的等待是把控制权交出去。让系统在条件满足时叫你。 线程挂起不占CPU。定时醒来看一眼才占。两者差的是几十倍的资源。
如果你代码里还有while True加sleep在查什么东西。数据库。文件。接口。队列。都可以看看有没有阻塞式的替代方案。多数场景都有。换掉之后机器会安静很多。