当前位置：首页 > news >正文

多线程和网络总结

news 2025/10/7 20:20:09

近期Python网络编程与多线程/多进程学习复盘

多线程应用：实现图片下载（DownloadHanlder类继承Thread，重写run方法处理下载逻辑），利用线程并行处理网络IO任务，提高下载效率。
多进程应用：拆分1亿元素大列表进行并行求和（Process类创建子进程，Queue实现进程间数据通信），理解“分而治之”思想在CPU密集型任务中的优势。
关键区别：多线程适合IO密集型任务（如网络请求、文件读写），多进程适合CPU密集型任务（如大量计算）；进程间需通过Queue等工具通信，线程可共享内存但需注意锁（threading.Lock）的使用。

服务器端开发：
- 套接字（socket）创建：指定AF_INET（IPv4）和SOCK_STREAM（TCP），通过bind绑定IP与端口、listen监听连接、accept阻塞等待客户端连接。
- 多线程处理客户端：每个客户端连接对应一个线程（如FileTransferHandler），避免单线程阻塞，支持多客户端同时访问。
- 数据传输：需将数据编码为字节流（encode('utf-8')），二进制文件（如图片）需通过base64编码转为文本格式，结合JSON实现结构化数据传输。
客户端连接：
- 工具连接：掌握CMD/PowerShell中通过Telnet（需启用Windows功能）、PowerShell原生命令（New-Object System.Net.Sockets.TCPClient）连接服务器的方法。
- 自定义客户端：用socket的connect方法连接服务器，recv接收数据，实现与服务器的交互。

列表操作：理解列表切片（list[start:end]）的“左闭右开”原则，用于多进程数据分片；认识到大列表（如1亿元素）创建的内存占用问题，学会用range（按需生成元素）优化。
模块使用：
- requests：发送HTTP请求获取API数据（如美女图片API、体重秤接口），解析JSON响应（resp.json()）。
- json：dumps将字典转为JSON字符串（用于网络传输），loads解析JSON字符串。
- base64：b64encode/b64decode实现二进制数据与文本的转换，解决JSON无法传输二进制的问题。
- time/datetime：time()计算程序执行时间，datetime.now()获取当前时间用于服务器数据返回。

疑问类型	具体问题	解决方案
函数/方法参数问题	1. `task_handler()`缺少`curr_list`和`result_queue`参数 2. `socket.bind()`参数错误	1. 调用时传入所有必需参数，多进程中通过`args`传递元组参数 2. `bind`需传入`(IP, 端口)`格式的元组
数据结构错误	1. `KeyError: 'newslist'`（API返回无该字段） 2. `TypeError: string indices must be integers`	1. 打印API完整返回数据，确认字段名；检查APIKey有效性 2. 确认循环变量类型（如是否为字典），修正索引方式
网络连接问题	1. `WinError 10049`（绑定无效IP） 2. `telnet`/`nc`命令不可用	1. 绑定`0.0.0.0`（所有可用IP）或本机真实IP（`ipconfig`查看） 2. 启用Telnet客户端，或用PowerShell原生命令连接
多线程/进程逻辑问题	1. 计时不准确（漏算数据准备时间） 2. 进程间数据共享失败	1. 将`start = time()`移到程序最开始，统计全程耗时 2. 用`multiprocessing.Queue`实现进程间数据传递

代码健壮性：增加异常处理（如try-except捕获网络请求错误、文件读写错误），避免程序崩溃。
性能优化：
- 多线程下载时设置线程池（concurrent.futures.ThreadPoolExecutor），避免创建过多线程。
- 大文件传输时拆分数据（如分块发送），避免单次发送数据过大导致阻塞。
功能扩展：基于现有TCP服务器，实现客户端向服务器上传文件、服务器对客户端身份验证等功能，深化网络编程理解。
调试能力：遇到问题时先打印关键数据（如变量类型、API返回、IP/端口配置），逐步定位问题，减少盲目修改代码。