当前位置：首页 > Python > 正文

Python select模块使用教程 - 实现高效I/O多路复用

MuXia
Python
2025-07-26
1334

Python select模块使用教程

select模块是Python中用于实现I/O多路复用的核心模块，允许程序同时监控多个文件描述符（如socket连接），当其中任何一个描述符就绪（可读、可写或发生异常）时，程序可以立即处理，提高I/O效率。

select模块核心方法

1. select.select()

最基础的多路复用方法，在所有主要操作系统上都可用。

import select
import socket

# 创建服务器socket
server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.bind(('localhost', 8000))
server.listen(5)
server.setblocking(False)

# 监控列表
inputs = [server]
outputs = []
message_queues = {}

while inputs:
    # 使用select监控可读、可写和异常socket
    readable, writable, exceptional = select.select(inputs, outputs, inputs)
    
    # 处理可读socket
    for s in readable:
        if s is server:
            # 新客户端连接
            client, addr = s.accept()
            client.setblocking(False)
            inputs.append(client)
            message_queues[client] = []
        else:
            # 客户端数据到达
            data = s.recv(1024)
            if data:
                # 将接收的数据加入队列
                message_queues[s].append(data)
                if s not in outputs:
                    outputs.append(s)
            else:
                # 客户端断开连接
                if s in outputs:
                    outputs.remove(s)
                inputs.remove(s)
                s.close()
                del message_queues[s]
    
    # 处理可写socket
    for s in writable:
        if message_queues[s]:
            # 发送队列中的消息
            next_msg = message_queues[s].pop(0)
            s.send(next_msg)
        else:
            # 消息队列为空，不再监控
            outputs.remove(s)
    
    # 处理异常socket
    for s in exceptional:
        inputs.remove(s)
        if s in outputs:
            outputs.remove(s)
        s.close()
        del message_queues[s]

2. select.poll()

更高效的多路复用方法，支持大量文件描述符（仅Linux系统）。

import select
import socket

# 创建poll对象
poller = select.poll()

# 创建服务器socket
server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.bind(('localhost', 8000))
server.listen(5)
server.setblocking(False)

# 注册服务器socket，监控读事件
poller.register(server, select.POLLIN)

# 文件描述符到socket的映射
fd_to_socket = {server.fileno(): server}

while True:
    # 等待事件发生，超时时间1秒
    events = poller.poll(1000)
    
    for fd, event in events:
        s = fd_to_socket[fd]
        
        # 处理可读事件
        if event & select.POLLIN:
            if s is server:
                # 新客户端连接
                client, addr = s.accept()
                client.setblocking(False)
                fd_to_socket[client.fileno()] = client
                poller.register(client, select.POLLIN)
            else:
                # 客户端数据到达
                data = s.recv(1024)
                if data:
                    # 处理数据...
                    pass
                else:
                    # 客户端断开连接
                    poller.unregister(s)
                    s.close()
                    del fd_to_socket[fd]
        
        # 处理可写事件
        if event & select.POLLOUT:
            # 发送数据...
            pass
        
        # 处理错误
        if event & select.POLLERR:
            poller.unregister(s)
            s.close()
            del fd_to_socket[fd]

3. select.epoll()

最高效的多路复用方法，特别适合处理大量并发连接（仅Linux系统）。

import select
import socket

# 创建epoll对象
epoller = select.epoll()

# 创建服务器socket
server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.bind(('localhost', 8000))
server.listen(5)
server.setblocking(False)

# 注册服务器socket，监控读事件
epoller.register(server.fileno(), select.EPOLLIN)

# 文件描述符到socket的映射
fd_to_socket = {server.fileno(): server}

while True:
    # 等待事件发生
    events = epoller.poll(1)  # 超时1秒
    
    for fd, event in events:
        s = fd_to_socket[fd]
        
        # 新连接
        if s is server:
            client, addr = s.accept()
            client.setblocking(False)
            client_fd = client.fileno()
            fd_to_socket[client_fd] = client
            # 监控读事件和边缘触发模式
            epoller.register(client_fd, select.EPOLLIN | select.EPOLLET)
        
        # 可读事件
        elif event & select.EPOLLIN:
            data = s.recv(1024)
            if data:
                # 处理数据...
                # 修改监控事件为写事件
                epoller.modify(fd, select.EPOLLOUT | select.EPOLLET)
            else:
                # 断开连接
                epoller.unregister(fd)
                s.close()
                del fd_to_socket[fd]
        
        # 可写事件
        elif event & select.EPOLLOUT:
            # 发送数据...
            # 完成发送后改回读事件
            epoller.modify(fd, select.EPOLLIN | select.EPOLLET)
        
        # 错误事件
        elif event & select.EPOLLERR:
            epoller.unregister(fd)
            s.close()
            del fd_to_socket[fd]

select模块使用场景

网络服务器：同时处理多个客户端连接
实时通信系统：聊天服务器、游戏服务器等
代理服务器：转发多个客户端请求
监控多个I/O源：同时监控网络连接、文件、管道等
高并发低延迟应用：需要快速响应多个I/O事件的系统

select、poll和epoll对比

特性	select	poll	epoll
支持平台	所有平台	大多数Unix系统	Linux 2.5.44+
最大描述符数	有限制（通常1024）	无硬性限制	无硬性限制
效率	低（O(n)）	中（O(n)）	高（O(1)）
触发模式	水平触发	水平触发	支持边缘触发
使用复杂度	简单	中等	复杂