TIP💡 全文知识全景导图:点击下方思维导图中带有 🔗 的主章节节点,可直接平滑滚动跳转至对应的重点章节!
系统基础
定义
操作系统(Operating System, OS) 是计算机系统中管理硬件和软件资源的中间层系统软件,屏蔽了底层硬件的复杂性,并且为用户和应用程序提供了便捷、安全的接口与交互环境。
主要功能
- 进程管理:负责创建、调度、同步与终止进程。进程是正在运行的程序实例,每个进程拥有独立的地址空间和系统资源。
- 内存管理:负责为进程动态分配与回收物理内存,通过虚拟内存技术实现地址空间隔离与扩充。
- 文件管理:提供创建、删除、读写文件的能力,组织文件的树状分层存储结构(如目录与权限控制)。
- 设备管理:通过设备驱动程序控制和统一调度计算机的各种硬件设备(如键盘、鼠标、磁盘、网卡、打印机等)。
系统结构与内核态/用户态
内核与内存区域划分
操作系统的**内核(Kernel)**是整个系统底层的核心控制程序,拥有对底层硬件资源的绝对控制权。为了防止应用程序误操作破坏系统全局稳定,CPU 与操作系统通过特权级别将内存分为两大区域:
- 用户空间(User Space / 用户态):为用户应用程序分配的受限内存区域。用户态下的进程无法直接执行特权指令(如关中断、修改页表寄存器),也不能直接访问物理硬件设备和内核数据结构。
- 内核空间(Kernel Space / 内核态):操作系统内核代码与底层核心运行时数据结构所在的特权内存区域,拥有对所有物理内存和底层硬件的完全访问控制权。
用户态与内核态的切换(系统调用)
当运行在用户态的应用程序需要执行底层特权操作(如文件读写 read/write、创建进程 fork、分配虚拟内存 mmap、网络收发 socket 等)时,必须通过**系统调用(System Call)**陷入内核:
- 触发陷阱指令:用户程序准备好系统调用号与参数后,触发软中断或陷阱指令(如 x86-64 的
syscall指令); - CPU 特权级切换:CPU 硬件自动从用户态(Ring 3)切换至内核态(Ring 0),将用户态的程序计数器(RIP)、栈指针(RSP)及寄存器现场保存在内核栈中;
- 分发与执行:内核根据系统调用号查阅系统调用表(Syscall Table),跳转执行对应的内核服务例程;
- 返回用户态:执行完毕后将结果存入寄存器,从内核栈中恢复用户态上下文现场,执行返回指令(如
sysret)切回用户态继续向下执行。
进程管理
并行与并发的区别
- 并发(Concurrency):指在一段时间内,多个任务都会被处理;但在某一时刻,只有一个任务在 CPU 核心上执行。单核处理器主要通过时间片轮转(Time Slicing)实现并发。例如有两个进程 A 和 B,A 运行一个时间片之后切换到 B,B 运行一个时间片之后又切换到 A。因为切换速度极快,在宏观上表现为在一段时间内能“同时”运行多个程序。
- 并行(Parallelism):指在同一时刻,有多个任务在同时执行。这需要多核处理器的物理硬件支持,不同的程序被分配到不同的物理 CPU 核心上同时运行,在微观上也是真正意义上的物理同时执行。
进程上下文切换
上下文切换(Context Switch)是操作系统在多任务处理环境中,将 CPU 从一个进程切换到另一个进程的过程。通过让多个进程共享 CPU 资源,使系统具备并发多任务处理能力。
进程上下文切换通常包含以下步骤:
- 保存当前进程上下文:操作系统将当前进程的 CPU 寄存器内容、程序计数器(PC)、程序状态字(PSW)等关键运行状态保存到该进程的 PCB(进程控制块)中;
- 选择下一个进程:调度程序根据特定的调度策略选择下一个将要分配 CPU 的就绪进程;
- 恢复目标进程上下文:从目标进程的 PCB 中恢复 CPU 寄存器与上下文执行现场;
- 切换虚拟内存映射:切换页表基地址寄存器(如 x86 的 CR3),使 CPU 转入目标进程的虚拟地址空间。
进程的五大状态
- 运行状态(Running):该时刻进程占用 CPU 资源正在执行指令;
- 就绪状态(Ready):进程已获得除 CPU 外的一切必要资源,排入就绪队列等待调度器分配 CPU 时间片;
- 阻塞状态(Blocked):进程因等待某一事件发生(如等待 I/O 操作完成、等待锁释放等)而暂时停止运行,此时即使分配 CPU 也无法执行;
- 创建状态(New):操作系统正在为程序分配资源、初始化 PCB、建立进程描述符;
- 结束状态(Exit):进程正常执行结束或因异常终止,正在从系统中注销,等待父进程回收其剩余资源与 PCB。
特殊进程
父子进程的退出时机与回收机制决定了其最终状态。两者的本质差异在于 “谁先退出、PCB 由谁回收、是否有危害”:
僵尸进程(Zombie Process)
僵尸进程是指已经终止执行,但在操作系统的进程表中仍然保留其进程控制块(PCB)的进程。
- 产生原因:子进程退出时其进程描述符不会被内核立即自动清除,必须由其父进程通过调用
wait()或waitpid()系统调用读取子进程的退出状态信息后才会被彻底释放。如果子进程已经退出,而父进程一直没有调用wait(),那么子进程的描述符将一直驻留系统中,占用进程号(PID)资源。 - 危害与解决:大量僵尸进程会耗尽系统的 PID 资源,导致系统无法创建新进程。解决方式是排查父进程的异步通知处理逻辑(如捕获
SIGCHLD信号并执行 wait 清理),或者杀掉父进程使其子进程被 init/systemd 进程接管并自动回收。
孤儿进程(Orphan Process)
父进程已经退出或终止,而其一个或多个子进程仍在继续运行,这些子进程就会成为孤儿进程。
- 接管机制:孤儿进程会被系统顶层守护进程
init(PID 为 1 的进程,现代 Linux 通常为systemd)所收养。init进程会作为其新的父进程,并在其终止时规范地执行状态收集和资源清理工作。因此,孤儿进程不会对系统产生危害。
进程间通信方式(IPC)
每个进程拥有独立的虚拟地址空间,默认情况下相互隔离无法直接访问对方的内存。为了协同工作,操作系统提供了多种 进程间通信(Inter-Process Communication, IPC) 机制。
在面试和工程选型中,各 IPC 方式的重要程度与技术选型对比如下:
🥇 第一梯队:核心高频 IPC(★★★★★)
1. 共享内存(Shared Memory)★★★★★
由操作系统内核在物理内存中开辟一块连续内存区域,并通过页表将其同时映射到不同进程各自的虚拟地址空间中。
- 速度之王(零拷贝机制):共享内存是所有 IPC 中传输速度最快的方式。进程对共享内存的读写就像访问自己的私有内存一样,无需经过内核态与用户态之间的数据拷贝;
- 致命缺陷(无同步机制):共享内存本身不提供任何互斥与同步保护。若多个进程同时写入会导致数据踩踏与竞态条件(Race Condition),必须强制搭配信号量(Semaphore)或互斥锁协同使用。
2. 管道(Pipe)★★★★★
管道是由内核管理的单向内存缓冲区(通常大小为 4KB 或 64KB),遵循先进先出(FIFO)原则。数据从写端写入,从读端读出。
- 半双工单向流动:管道只能单向传输数据。如果需要双向双工通信,必须创建两条互逆的管道;
- 匿名管道(Anonymous Pipe):通过
pipe()系统调用创建。仅存在于内存中,随进程销毁而释放。只能用于具有血缘关系(父子、兄弟)的进程间通信; - 命名管道(FIFO / Named Pipe):通过
mkfifo()创建,在文件系统中拥有可见的特殊文件节点。允许毫无亲缘关系的任意两个独立进程通过文件路径打开通信; - 边界异常行为(高频考点):
- 写端全关闭:读端继续读取会读到 EOF(返回 0),进程正常感知流结束;
- 读端全关闭:写端继续写入会触发操作系统向写进程发送
SIGPIPE信号,默认导致写进程异常崩溃退出。
3. 套接字(Socket)★★★★★
套接字是支持网络通信的标准接口,也是现代微服务与分布式系统进程间通信的基石。
- 跨主机通信(唯一性):Socket 是所有 IPC 方式中唯一不仅支持本机进程、更能跨越物理网络与不同主机进行全双工通信的机制;
- 本机通信王者(Unix Domain Socket, UDS):
- 在同一台 Linux 机器内部通信时,应优先使用 UDS(Unix 域套接字) 而非
127.0.0.1本地回环网络 Socket; - 优势:UDS 无需经过 TCP/IP 协议栈的封包、校验和计算、路由与网卡虚拟驱动,仅在内核内部进行内存拷贝,传输吞吐更高、延迟更低。
- 在同一台 Linux 机器内部通信时,应优先使用 UDS(Unix 域套接字) 而非
🥈 第二梯队:同步与通知机制(★★★★☆ ~ ★★★☆☆)
4. 信号量(Semaphore)★★★★☆
信号量本质上是一个受操作系统内核保护的整型计数器,代表当前系统中某一临界资源的剩余可用数量。严格意义上它主要用于进程间的互斥与同步,而非传递复杂业务数据(常作为共享内存的守护者)。
- P 操作(Wait / 申请资源):原子性将信号量减 1。若值 表示成功获取资源并继续执行;若值 则表示无可用资源,当前进程挂起阻塞,进入该信号量的等待队列;
- V 操作(Signal / 释放资源):原子性将信号量加 1。若值 表示等待队列中仍有被阻塞的进程,内核唤醒其中一个等待进程继续执行。
5. 信号(Signal)★★★☆☆
软件层次上对硬件中断机制的一种模拟,是进程间唯一的异步通信通知机制。任何时刻内核或进程均可向目标进程发送特定信号打断其当前执行流。
- 特点:传递开销极小,但无法承载复杂的业务载荷,只能告知“发生了什么事件”;
- 高频核心信号辨析:
SIGINT(Ctrl + C):中断信号,进程可捕获并决定是否退出;SIGTERM(kill 命令默认信号):终止请求信号,属于优雅退出,程序可捕获并完成保存数据、关闭连接等收尾工作;SIGKILL(kill -9):强制立即终止信号,由内核直接接管并清除进程,进程无法捕获也无法忽略。
🥉 第三梯队:传统消息机制(★★☆☆☆)
6. 消息队列(Message Queue)★★☆☆☆
保存在内核中的结构化消息链表,发送方将格式化消息写入队列,接收方从队列中获取。
- 特点:克服了管道只能承载无格式字节流的局限,接收方可以按照特定消息类型有针对性地读取;
- 工业现状:由于内核消息队列存在容量上限,且同样经历“用户态 内核态”的两次数据拷贝,在现代高并发分布式系统架构中,已被功能更强、吞吐更高的外置消息中间件(Kafka、RocketMQ、RabbitMQ)全面取代。
💡 IPC 核心维度对比速查表
| 通信方式 | 优先级 | 传输速度 | 数据流向 | 进程亲缘要求 | 核心特征与高频考点 |
|---|---|---|---|---|---|
| 共享内存 | ★★★★★ | 极快(零拷贝) | 双向直接读写 | 同主机任意进程 | 速度最快;无互斥机制,必须搭配信号量 |
| 管道 | ★★★★★ | 较快(内核缓冲) | 半双工(单向) | 匿名(亲缘)/命名(任意) | FIFO 字节流;读端关闭写入触发 SIGPIPE |
| 套接字 (Socket) | ★★★★★ | 中等(网络/UDS) | 全双工 | 可跨物理网络主机 | 唯一跨网络主机通信;本机推荐 UDS 免封包 |
| 信号量 | ★★★★☆ | 极快(计数原语) | 仅控制无载荷 | 同主机任意进程 | 属于同步互斥机制,P/V 原子操作保护临界区 |
| 信号 | ★★★☆☆ | 极快(异步打断) | 单向通知 | 同主机进程间 | 唯一异步通知机制;SIGKILL 不可被捕获忽略 |
| 消息队列 | ★★☆☆☆ | 较慢(两次拷贝) | 异步读写 | 同主机任意进程 | 支持按类型过滤,现代多被外部专业 MQ 替代 |
进程调度算法
在多任务并发操作系统中,可运行的就绪进程数量往往远超过 CPU 物理核心数。CPU 调度程序(Scheduler) 负责从就绪队列中依循特定策略选择下一个分派 CPU 执行的进程。
各调度算法的演进历程与核心梯队关系如下:
🥇 第一梯队:现代调度核心与实战(★★★★★)
1. 多级反馈队列(MLFQ, Multi-Level Feedback Queue)★★★★★
多级反馈队列是传统进程调度算法中设计最巧妙、最通用的算法,不需要提前预知任何任务的预计执行时长,便能自适应地兼顾交互式短任务的极速响应与计算密集型长任务的高吞吐量。
- 核心运行规则:
- 多级就绪队列:系统维护多个优先级由高到低的就绪队列();
- 高优先短时间片:优先级越高的队列,分配的时间片越短(例如 为 2ms, 为 4ms, 为 8ms);优先级越低的队列,分配的时间片越长;
- 新进程优先试跑:新进程首先加入最高优先级队列 (假定其为短任务,优先保证交互响应);
- 时间片耗尽降级:若进程在当前时间片内未执行完毕,说明其更偏向计算型长任务,调度器将其降级移入下一级队列尾部;
- I/O 阻塞保持优先级:若进程在时间片用完前主动发起 I/O(如等待键盘输入、读盘)而让出 CPU,其优先级保持不变,I/O 返回后仍回到原队列(利好交互型进程);
- 周期性提升防饥饿(Priority Boost):为了防止底层的计算密集型任务因源源不断的新任务而永远得不到调度,系统经过一定周期后,将所有就绪任务全量重新提升到最高优先级队列。
2. 时间片轮转(RR, Round Robin)★★★★★
现代多任务分时操作系统的基石。所有就绪进程按 FIFO 排入就绪队列,系统按固定时间片(Time Slice / Quantum)轮流为队首进程分配 CPU 执行。
- 工作机制:进程若在时间片内执行完毕则正常退出;若时间片用完但尚未完成,操作系统强制触发时钟中断,将当前进程挂入队尾等待下一轮调度;
- 核心工程权衡(面试必问 Trade-off):
- 时间片设定过大:算法退化为先来先服务(FCFS),前台交互式任务(如鼠标光标、窗口滑动)发生明显掉帧与卡顿;
- 时间片设定过小:虽然交互响应极快,但导致 CPU 上下文切换过于频繁(保存/恢复寄存器、切换 CR3 页表基址、刷新 TLB 缓存),大量 CPU 算力被白白浪费在调度开销上,整体吞吐暴跌;
- 工业界权衡:时间片通常设定在 10ms ~ 100ms 之间,使上下文切换的开销占比严格控制在系统总时间的 1% 以内。
3. 现代 Linux 实战延伸:CFS(完全公平调度器)★★★★★
在现代 Linux 内核(自 2.6.23 至今)中,默认的通用进程调度器并非朴素的 MLFQ,而是 完全公平调度器(Completely Fair Scheduler, CFS)。
- 核心概念:虚拟运行时间(vruntime):
高优先级进程的权重更大,其
vruntime增长得越“慢”,从而在相同物理时间内获得更多 CPU 执行机会; - 红黑树组织调度:
CFS 不使用传统的多级链表队列,而是使用一棵 红黑树(RB-Tree) 管理所有就绪进程,树的排序键值就是
vruntime; - 调度决策:
调度器每次总是挑选红黑树中 最左侧的叶子节点(即当前
vruntime最小、最饥饿的进程)投入运行,调度选择的时间复杂度为 (直接取已缓存的最小节点指针),节点插入与删除复杂度为 。
🥈 第二梯队:理论经典与典型缺陷(★★★★☆ ~ ★★★☆☆)
4. 短作业优先(SJF)与最短剩余时间优先(SRTN)★★★★☆
- 短作业优先(SJF, Shortest Job First):非抢占式。调度器遍历就绪队列,挑选预计执行时间最短的进程优先执行;
- 最短剩余时间优先(SRTN, Shortest Remaining Time Next):SJF 的抢占式变体。当新就绪进程的预计剩余时长短于当前运行进程时,立即抢占 CPU;
- 理论地位:在所有任务同时到达的前提下,数学上可证明 SJF 能够获得 系统全局最低的平均等待时间和周转时间;
- 两大致命缺陷(高频考点):
- 现实中无法预知时长:操作系统在任务真正执行前,根本无法提前精准知道它到底要耗费多少毫秒;
- 长作业饥饿(Starvation):如果系统中持续涌入源源不断的小任务,长任务将永远处于等待状态,陷入无休止的饥饿。
5. 优先级调度(Priority Scheduling)★★★☆☆
为每个就绪进程赋予一个数值代表其优先级大小,调度器优先调度当前最高优先级的进程:
- 非抢占式:进程一旦获得 CPU,直到执行结束或主动阻塞前不会被剥夺;
- 抢占式:当更高优先级的进程进入就绪队列时,立即中断并抢占当前正在运行的低优先级进程;
- 防饥饿机制(动态老化 Aging):低优先级任务可能因高优先级任务扎堆而饥饿。解决方法是引入“动态老化”——进程在就绪队列中每多等待固定时间,操作系统便自动将其优先级向上提升一级,保证其最终必定能获得 CPU 执行。
🥉 第三梯队:最简基准算法(★★☆☆☆)
6. 先来先服务(FCFS, First-Come First-Served)★★☆☆☆
按照请求 CPU 的先后次序排队执行,最简单的非抢占式排队逻辑。
- 致命缺陷:护航效应(Convoy Effect): 若排在就绪队列队首的是一个超级漫长的计算密集型大作业(如需要执行 10 秒),那么排在其后的几十个仅需 1 毫秒的 I/O 短作业全部会被迫原地挂起等待。这种“一个大货车堵死整条车道所有轻量小轿车”的反常现象,导致系统平均等待时间急剧恶化。
💡 进程调度算法核心对比速查表
| 调度算法 | 优先级星级 | 抢占方式 | 时间复杂度 | 核心优势 | 致命缺点 / 缺陷 | 适用场景 |
|---|---|---|---|---|---|---|
| 多级反馈队列 (MLFQ) | ★★★★★ | 抢占式 | 无需预知时长,自适应兼顾响应与吞吐 | 算法设计与调参相对复杂 | 通用分时桌面与服务端 OS | |
| 时间片轮转 (RR) | ★★★★★ | 抢占式 | 绝对公平,交互响应良好,无饥饿 | 时间片过小上下文切换损耗巨大 | 分时交互式操作系统 | |
| Linux CFS | ★★★★★ | 抢占式 | 基于 vruntime 精准按权重公平分配 | 维护红黑树开销略高于朴素队列 | 现代 Linux 内核默认调度器 | |
| 短作业优先 (SJF) | ★★★★☆ | 非抢占式 | 理论全局平均等待时间最短 | 无法预知时长;长作业易饥饿 | 批处理系统理论基准 | |
| 最短剩余时间 (SRTN) | ★★★★☆ | 抢占式 | 抢占式大幅优化短任务等待时间 | 无法预知时长;频繁抢占上下文损耗 | 实时/批处理理论模型 | |
| 优先级调度 | ★★★☆☆ | 抢占 / 非抢占 | 能够按业务紧急程度区分处理 | 低优先级任务容易长期饥饿 | 实时系统、工控与嵌入式 | |
| 先来先服务 (FCFS) | ★★☆☆☆ | 非抢占式 | 逻辑最简单,无饥饿,排队开销极小 | 出现严重的“护航效应”,短任务受累 | 早起批处理系统、简单外设排队 |
线程管理
线程与进程的核心区别
| 对比维度 | 进程(Process) | 线程(Thread) |
|---|---|---|
| 本质定位 | 操作系统资源分配和拥有的基本单位 | CPU 调度和执行的基本单位 |
| 地址空间 | 每个进程拥有完全独立的虚拟地址空间 | 同一进程内的线程共享进程的虚拟地址空间与代码/数据/堆段 |
| 私有资源 | 拥有独立的文件描述符、信号处理与内存空间 | 仅拥有私有的程序计数器(PC)、寄存器组与栈空间 |
| 切换开销 | 需切换虚拟页表与刷新 TLB,开销较大 | 无需切换页表,仅需保存恢复少量寄存器与栈指针,极其轻量 |
| 健壮与隔离性 | 相互隔离,一个进程崩溃通常不影响其他进程 | 共享内存,一个线程发生段错误非法访问可能导致整个进程崩溃 |
| 生命周期 | 由父进程或系统创建控制 | 随进程而生,进程终止时其内部所有线程自动终止 |
线程上下文切换
- 跨进程线程切换:若切换的两个线程分别属于不同的进程,由于虚拟内存映射不同,其切换开销与完整的进程上下文切换完全相同(需要切换页表 CR3 并刷新 TLB)。
- 同进程线程切换:若切换的两个线程属于同一个进程,由于虚拟内存地址空间完全共享,虚拟内存资源保持不动,仅需切换线程私有的程序计数器、寄存器和运行栈,开销极小。
线程的三种实现方式
线程的实现本质上探讨的是 “用户空间中的线程如何与操作系统内核空间的调度实体进行映射”。历史上演进出了三种核心模型:
- 用户态线程实现(M<1>1> 模型 / 用户级线程 ULT):
- 架构:线程完全由运行在用户空间的第三方线程库管理,操作系统内核对其完全无感知,只认为这是一个单线程进程;
- 优势:线程的创建、销毁和切换都在用户态完成,无需发起系统调用陷入内核,开销极小且速度飞快;
- 致命弱点:
- 阻塞扩散(一损俱损):一旦某个用户线程发起阻塞系统调用(如磁盘读写
read()),整个内核进程都会被挂起,导致其他所有原本可运行的用户线程全部被动卡死; - 无法利用多核并行:内核只能将该进程作为一个整体调度到一个 CPU 核心上运行,无法享受多核算力加速。
- 阻塞扩散(一损俱损):一旦某个用户线程发起阻塞系统调用(如磁盘读写
- 内核态线程实现(1:1 模型 / 内核级线程 KLT):
- 架构:每一个用户创建的线程,都在内核中对应创建一个真正的内核线程(如现代 Linux 的 NPTL、Windows 线程、Java 传统平台线程);
- 优势:线程完全由内核调度器调度,能真正并发映射到多个物理 CPU 核心上并行执行;某个线程发生 I/O 阻塞不会影响其他线程;
- 缺点:线程的创建、销毁和上下文切换必须发起系统调用陷入内核态,内存占用(每个线程默认栈需 1MB 左右)与调度开销相对较高。
- 混合线程实现(M
模型 / 两级调度模型): - 架构:将 个用户空间轻量级线程(协程/Goroutine)动态复用到 个内核线程上();
- 优势:用户态运行时(Runtime)负责协程之间的协作让出与低成本调度,内核态负责物理 CPU 核心的真正并行计算。当某个协程阻塞时,调度器将其解绑,让其他就绪协程继续在内核线程上跑,兼具十万级高并发与多核高吞吐(如 Go 语言的 GMP 调度模型)。
线程间同步
临界区(Critical Section)
对共享资源进行访问与操作的代码片段称为临界区。为了保证并发安全,必须保证临界区的互斥执行(同一时刻只允许一个线程进入临界区)。
互斥锁(Mutex)
- 忙等待锁(自旋锁 Spinlock):当线程尝试获取锁失败时,不会让出 CPU 进入休眠阻塞,而是在当前 CPU 核心上通过循环指令(
test-and-set)不断轮询检查锁是否可用。适用于临界区极短、锁持有时间极短的多核场景,避免了线程挂起与唤醒的上下文切换损耗;但若锁持有时间较长,会浪费大量 CPU 算力。 - 无忙等待锁(互斥锁 Mutex):当线程尝试获取锁发现已被占用时,主动让出 CPU 控制权,线程状态转为阻塞并挂入等待队列。当锁被释放后,由内核唤醒等待线程重新竞争锁,避免了持续空转带来的 CPU 浪费。
信号量(Semaphore)
信号量是操作系统提供的基于整型变量的同步原语,由荷兰计算机科学家 Dijkstra 提出。其核心心智模型就像一个 “带有车位计数显示牌的停车场”:
- 计数器 的数学与现实意义:
- :当前系统中剩余空闲的资源数量(停车场还有剩余空位,来车即可直接进);
- :资源恰好分配完毕(车位正好全满,下一辆必须开始排队);
- :资源不仅耗尽,且其绝对值 刚好等于当前阻塞在等待队列中排队等待的线程总数。
- 两类经典信号量分类:
- 互斥信号量(初值 ):同一时刻仅允许 1 个线程进入临界区,作用等价于互斥锁(Mutex);
- 计数信号量(初值 ):控制最多允许 个线程并发访问有限资源池(如限流控制、数据库连接池)。
死锁(Deadlock)
在两个或多个并发执行的线程中,每个线程都在持有某些资源的同时等待其他线程释放其所占有的资源,在未打破这种僵局之前,所有相关线程都无法继续向前推进,处于无限期相互等待的僵死状态。
死锁产生的四个必要条件
死锁的发生必须同时满足以下 4 个条件,只要打破其中任意一个,死锁便不会发生:
- 互斥条件:资源在同一时刻只能被一个线程独占使用,其他线程请求该资源只能阻塞等待;
- 请求与保持条件:线程已至少持有一个资源,但又发出了新的资源申请,而新资源已被其他线程占有,该线程在等待新资源时对自己已获得的资源保持不放;
- 不剥夺条件:线程已获取的资源在未使用完毕之前不能被其他线程强行抢占,只能由该线程主动释放;
- 环路等待条件:发生死锁时,必然存在一个“线程—资源”的环形等待链(如 等待 占用的资源, 等待 占用的资源)。
避免与预防死锁
- 破坏请求与保持条件:实行资源一次性分配。线程必须在开始执行前一次性申请其所需的全部资源,若不能全部满足则一个都不予分配;
- 破坏不剥夺条件:当已持有部分资源的线程进一步申请新资源失败时,必须主动释放已持有的所有资源,后续需要时再统一重新申请;
- 破坏环路等待条件:实行资源的线性有序分配策略。将系统中的所有资源进行唯一编号,所有线程必须严格按照资源编号递增的顺序提出申请,从结构上彻底杜绝环路的形成。
活锁与饥饿
- 饥饿(Starvation):某个线程因为调度算法不公(如低优先级)或资源分配倾斜,长久无法获得所需的 CPU 时间或资源,导致无法向前推进执行。与死锁不同,处于饥饿中的资源仍有可能在未来某个时刻被分配给该线程。
- 活锁(Livelock):处于活锁中的线程都在持续改变自身状态以试图让出资源,但由于各线程之间的反应过于一致或相互礼让,导致整个系统始终无法向前取得实质进展(如两人狭路相逢相互礼让,却总是同时闪向同一侧)。
内存管理
物理内存 vs 虚拟内存
- 物理内存(Physical Memory):计算机中真实安装的 RAM 硬件模块。应用程序和操作系统最终的指令与数据都必须载入物理内存中才能被 CPU 执行。
- 虚拟内存(Virtual Memory):操作系统与硬件(MMU)协同提供的一种内存抽象技术。它让每个进程都认为自己独占一份连续、完整的私有地址空间:
- 隔离性:每个进程运行在专属的虚拟地址空间中,即使指针越界或非法访问也不会窜改其他进程或内核的数据;
- 地址转换:CPU 内部的内存管理单元(MMU)通过**页表(Page Table)**将虚拟地址动态转换为真实的物理内存地址;
- 空间扩充:当实际物理内存不足时,操作系统将暂时不用的虚拟内存页换出到磁盘交换区(Swap),从而支撑比物理内存大得多的应用程序运行。
内存分段与内存分页
操作系统为了管理物理内存,历史上演进出两种截然不同的内存抽象机制:分段(面向程序员的逻辑视角) 与 分页(面向硬件的物理管理视角)。
内存分段(Segmentation)
按照程序的逻辑结构划分(如代码段、数据段、堆段、栈段等)。每个段具有不同的读写属性与逻辑意义。虚拟地址由 “段号 + 段内偏移量” 组成,CPU 通过段表(包含段基址 Base 与段界限 Limit)将虚拟地址映射到物理地址。
- 优势:段具有明确的逻辑属性,便于实现代码段只读保护、动态链接与模块间的数据共享;
- 致命弱点:严重的外部碎片(External Fragmentation): 由于不同逻辑段的长度大小不一,系统在频繁分配、换入换出之后,物理内存中会散落许多零碎不连续的空闲区间。虽然这些空隙的总和可能很大,但因为没有任何一段连续空闲区间能容纳新段,导致内存被白白浪费。
内存分页(Paging)
彻底打破程序的逻辑边界,将虚拟地址空间和物理内存空间严格切分为固定大小的块。虚拟空间中固定大小的块称为 页(Page),物理内存对应的固定块称为 页帧(Page Frame)。在主流 Linux x86 架构下,默认每页大小为 4KB。
- 寻址方式(一维连续):
CPU 硬件自动将虚拟地址划分为两部分:虚拟页号(VPN, Virtual Page Number) 与 页内偏移量(Offset)。
- 通过虚拟页号作为索引,查阅进程的 页表(Page Table),获取对应的 物理页帧号(PFN, Physical Frame Number);
- 将物理页帧号与页内偏移量直接拼接,即可得到真实的物理内存地址。
- 优势:彻底消除外部碎片: 因为物理内存被严格切分成固定 4KB 的标准方块,任何一个空闲页帧都可以分配给任意进程使用,物理页帧之间完全无需连续;
- 缺点:存在细微的内部碎片(Internal Fragmentation): 因为分配的最小颗粒度是 4KB,若进程申请 5KB 空间,操作系统必须分配 2 页(8KB),其中第二页未用满的 3KB 空间就产生了页内浪费。
分页与分段的本质区别
| 对比维度 | 内存分页 | 内存分段 |
|---|---|---|
| 划分目的 | 物理管理单位,为了提高内存利用率,对用户透明 | 逻辑信息单位,符合程序逻辑结构,对用户可见 |
| 大小特征 | 大小严格固定(系统默认 4KB) | 大小动态不固定,由逻辑功能决定 |
| 地址空间 | 一维连续虚拟地址空间 | 二维地址空间(段名 + 段内偏移量) |
| 共享与保护 | 页边界无逻辑意义,保护和共享受限 | 段具有明确逻辑属性,易于实现代码共享与权限保护 |
| 碎片特征 | 产生页内内部碎片,无外部碎片 | 产生外部碎片,无内部碎片 |
多级页表与快表
在朴素分页模型下,现代操作系统面临着两大核心矛盾:
- 空间矛盾(单级页表太占内存) 由 多级页表(Multi-level Page Table) 解决;
- 时间矛盾(多级查询访存太慢) 由 快表(TLB) 解决。
1. 多级页表(解决空间问题:按需分配)
为什么单级页表在现代系统放不下?
- 以 32 位系统为例,4GB 虚拟地址空间按 4KB 分页,总共拥有 个页表项;
- 每个页表项占用 4 字节,那么单级页表本身就必须连续占据 4MB 的物理内存;
- 关键在于:Linux 中每个进程都有一套独立的页表!即便某个进程仅运行几 KB 的简单代码,操作系统也必须为它完整常驻 4MB 连续页表;100 个进程就要白白浪费 400MB。如果换成 64 位系统,单级页表将膨胀到数百 GB,根本无法落地。
多级页表的核心设计思想(类似书的多级目录索引)
多级页表将一维的大页表拆分成树状分层结构(如 32 位的二级页表:页目录 PGD + 页表 PT;64 位的四级页表):
- 按需分配,极大节省内存: 进程启动时,操作系统只需要为它分配一个极其微小的 顶级页目录项(仅占 4KB);
- 只有当进程真正读写了某段虚拟内存范围时,操作系统才会动态创建该范围对应的次级页表;
- 对于进程大部分未使用的巨大空白地址空间,其顶级目录项直接标记为 NULL,完全不需要创建任何下级页表实体,内存占用直接降低数千倍。
2. 快表(TLB,解决时间问题:硬件级加速缓存)
引入背景:多级页表带来的性能惩罚
多级页表虽然解决了空间问题,但严重拖慢了寻址速度:
- 在 64 位四级页表体系下,CPU 读写一次数据,需要顺着 4 级页表在物理 RAM 中连续查询 4 次,最后再加上 1 次读取真实数据,一次原本的内存访问被放大为 5 次访存,系统吞吐暴跌 80%!
TLB 的工作机制(CPU 芯片内部的 VIP 极速缓存)
基于计算机著名的 程序局部性原理(时间局部性与空间局部性),CPU 硬件在芯片内部集成了一块超高速硬件缓存——TLB(Translation Lookaside Buffer,快表):
- 极速寻址:TLB 专门缓存最近频繁访问的
虚拟页号 (VPN) -> 物理页帧号 (PFN)映射关系; - TLB 命中(Hit,概率高达 98%):CPU 访问内存时,硬件 MMU 并行优先查询 TLB。若命中,在单时钟周期内即可完成地址翻译,完全不需要走任何内存页表查询;
- TLB 缺失(Miss):硬件才触发“页表漫游(Page Walk)”,逐级在 RAM 中查询多级页表,查出物理页号后回填刷新至 TLB,供后续访存极速复用。
交换空间(Swap Space)
操作系统在磁盘上开辟的一块独立存储分区或文件。当物理 RAM 内存资源紧张时,内核将某些暂时不活跃的内存页数据转移到磁盘交换区中暂存,以释放出宝贵的物理 RAM 供前台活跃进程使用。物理内存容量与交换空间容量的总和构成了虚拟内存可用的理论上限。
缺页中断(Page Fault)
当 CPU 访问某个虚拟地址时,硬件 MMU 查询页表发现该虚拟页尚未载入物理内存(页表项中的有效位为 0),CPU 立即触发一次硬件异常——缺页中断。操作系统内核介入并执行以下恢复流程:
- 检查访问地址是否合法,若越界或无权限则触发段错误(Segmentation Fault);
- 操作系统在物理内存中寻找空闲页帧;若无空闲页帧,则触发页面置换算法淘汰某页;
- 将所需页面从磁盘(Swap 分区或原始可执行文件)读取并加载到分配的物理页帧中;
- 更新页表映射条目,将有效位标记为有效;
- 恢复中断现场,CPU 重新执行先前被中断的访存指令。
常见页面置换算法
- 最佳页面置换算法(OPT, Optimal):淘汰未来最长时间内不会被访问的页面。能保证理论上最低的缺页率,但由于无法预知未来的访问序列,实际系统中无法实现,常作为衡量其他算法优劣的基准上限。
- 先进先出置换算法(FIFO, First-In First-Out):优先淘汰最早进入内存的页面。实现极其简单(基于队列管理),但可能出现 Belady 异常(分配给进程的物理页帧增加,缺页率反而升高的反常现象),且容易误淘汰常驻的高频页面。
- 最近最久未使用置换算法(LRU, Least Recently Used):淘汰过去最长时间未被访问过的页面。基于局部性原理,效果最接近 OPT 算法。但精确实现需要硬件计时器或频繁维护访问链表,系统开销较大。
- 时钟页面置换算法(Clock / 二次机会算法):LRU 的一种高效近似工程实现。将所有内存页组织为循环链表(形如时钟表盘),每个页面设置一个访问位(访问时置 1)。指针顺时针巡检:若访问位为 1 则清零并给予“二次机会”跳过;若访问位为 0 则直接选中该页进行置换。
- 最不常用置换算法(LFU, Least Frequently Used):统计各页面被访问的累计频次,置换掉过去访问次数最少的页面。需要为每个页面维护访问计数器并设计定期衰减机制。
I/O 模型与 I/O 多路复用
在网络服务开发中,输入/输出(I/O)的处理效率直接决定了系统的高并发吞吐能力。为了理解底层网络通信,首先必须看清任何一次网络 I/O 的本质过程。
网络 I/O 的两大核心阶段
无论是读取本地文件还是接收网络 Socket 数据包,一次典型的 read() / recv() 系统调用在操作系统内部都严格划分为 两大独立阶段:
- 阶段 1:等待数据准备就绪(Wait for Data Ready):
- 远程主机发送数据包,经过物理网络到达本机网卡;
- 网卡通过 DMA 将数据拷贝到内核缓冲区,等待完整的数据包拼装完毕。
- 阶段 2:数据从内核拷贝到用户空间(Copy Data from Kernel to User):
- 内核将已经就绪的数据从内核空间缓冲区拷贝到应用程序的用户空间缓冲区;
- 拷贝完成后,系统调用返回,应用程序开始处理业务逻辑。
不同 I/O 模型的根本区别,就在于 进程在这两个阶段中是“挂起死等”还是“非阻塞去做别的事”:
阻塞 I/O vs 非阻塞 I/O
- 阻塞 I/O(Blocking I/O):
- 特征:阶段 1 与阶段 2 全程处于阻塞状态;
- 优缺点:编程模型最符合直觉,但并发性能极差。如果要同时服务多个客户端,必须为每个连接分配一个独立线程(
1 Connection = 1 Thread)。
- 非阻塞 I/O(Non-blocking I/O):
- 特征:阶段 1 不阻塞,若数据未好立即返回
EAGAIN;但阶段 2(内存拷贝)仍然是阻塞的; - 优缺点:线程虽然不会被卡死,但如果通过
while循环不断轮询检查,会导致 CPU 空转率极高(100% 飙高),大部分系统调用都在做无用功。
- 特征:阶段 1 不阻塞,若数据未好立即返回
传统多线程的破产与 I/O 多路复用诞生
在面对海量并发连接(如 C10K 问题:单机维持 1 万并发连接)时,传统的阻塞多线程模型彻底失效:
- 线程栈内存爆炸:Linux 下每个线程栈默认 1MB ~ 8MB,1 万个线程将霸占数十 GB 物理内存;
- CPU 上下文切换瘫痪:CPU 大量算力全部被用于在 1 万个线程之间频繁切换现场,无法有效处理业务代码。
I/O 多路复用(I/O Multiplexing) 彻底颠覆了这种模式:
“以一当万”:由 单个线程 借由内核的能力同时监视成千上万个 Socket 文件描述符(FD)。当没有任何 Socket 准备好时,线程在多路复用调用处休眠;一旦某个或某些 Socket 有事件就绪,内核立即唤醒该线程进行精准处理。
经典演进:select 与 poll(盲猜与全量搬运)
1. select 机制与四大痛点
select 诞生于 1983 年(4.2 BSD),采用固定长度的位图集合 fd_set 来记录需要监控的文件描述符。
- select 的四大致命瓶颈:
- 连接数硬上限:底层基于固定长度位图,受内核常量
FD_SETSIZE限制,默认最大只能监听 1024 个描述符; - 双向内存拷贝损耗:每次调用都要把包含海量连接的
fd_set从用户态拷贝到内核态,返回时又完整拷贝出来,高并发下内存拷贝吞吐被榨干; - 双重线性扫描开销(两次 ):内核态需要遍历扫描一遍所有连接;返回用户态后,应用程序由于不知道是谁就绪了,又必须盲猜线性遍历一遍。当连接数有 1000 个但活跃连接仅有 1 个时,效率极低;
- 重复重置集合:每次调用返回后集合内部的原有数据都被修改了,下次调用前必须重新初始化并填充集合。
- 连接数硬上限:底层基于固定长度位图,受内核常量
2. poll 的微弱改进
poll 引入于 System V,使用动态结构体数组(struct pollfd)代替固定位图。
- 改进:突破了 1024 的文件描述符数量上限(基于链表/数组链式扩容);
- 未解痛点:核心机制与 select 完全相同,依然受困于**“每次调用全量内存拷贝 + 内核与用户态双重 线性扫描”**,连接数增多时性能依然呈线性暴跌。
epoll:Linux 高并发的封神之作(解决 C10K / C1000K)
为了彻底根治 select/poll 的固有弊端,Linux 2.6 引入了全新的 epoll。epoll 通过底层三大杀手级设计,将海量连接监控性能提升到了极致:
epoll 的核心底层“三大件”
- 红黑树(增删改 ,零重复全量拷贝):
- 应用程序通过
epoll_create在内核开辟一个专属上下文,并在内核中维护了一棵**红黑树(RB-Tree)**来跟踪所有被监听的 Socket; - 每次增删改查 Socket(通过
epoll_ctl)只需要在红黑树上操作,时间复杂度为 ; - 核心优势:只要把 Socket 注册到红黑树一次,内核就会一直记住,彻底消除了 select/poll 每次调用重复全量拷贝整个描述符集合的巨大损耗!
- 应用程序通过
- 就绪双向链表与中断回调(Ready List,事件驱动):
- 当某个 Socket 有网络数据到达时,网卡触发 CPU 硬件中断;
- 内核驱动的中断处理程序通过回调函数(Callback),直接将这个产生了事件的 Socket 追加到一个双向链表(就绪队列 Ready List)中;
epoll_wait零轮询( 极速返回):- 应用程序调用
epoll_wait()时,内核完全不需要遍历任何红黑树或所有 Socket,只需要检查就绪双向链表:- 若就绪链表为空,调用线程挂起休眠;
- 若就绪链表非空,直接只将就绪链表里的活跃 Socket 返回给用户程序,时间复杂度为 !用户程序拿到结果直接精准处理,无需任何盲目线性扫描。
- 应用程序调用
水平触发(LT)vs 边缘触发(ET)
epoll 支持两种事件触发模式,这是网络编程与面试中的经典重点:
- 水平触发(LT, Level Triggered,默认模式):
- 机制:只要内核缓冲区中还有未读取的数据,每次调用
epoll_wait都会重复不断地通知应用程序,直到所有数据被全部读完; - 优缺点:编程容错率极高,不容易漏掉数据;但如果高频多次未读完,会反复唤醒上下文,吞吐略低。支持阻塞与非阻塞 Socket。
- 机制:只要内核缓冲区中还有未读取的数据,每次调用
- 边缘触发(ET, Edge Triggered,极致高速模式):
- 机制:仅在 Socket 的状态发生变化的那一瞬间(从未就绪变为就绪)通知一次!如果这一次没有把缓冲区的数据全部读光,未读完的数据将长期驻留内核缓冲区,后续
epoll_wait绝不会再次提醒; - 编码铁律:
- 必须搭配非阻塞 I/O(
O_NONBLOCK)使用; - 接收到通知后,必须使用
while循环反复调用read()直至返回EAGAIN/EWOULDBLOCK错误,确保这一次把缓冲区内的数据彻底掏空! - 能够将系统调用与上下文唤醒次数降至最低,是 Nginx、Netty 等高性能服务器框架的底层核心配置。
- 必须搭配非阻塞 I/O(
- 机制:仅在 Socket 的状态发生变化的那一瞬间(从未就绪变为就绪)通知一次!如果这一次没有把缓冲区的数据全部读光,未读完的数据将长期驻留内核缓冲区,后续
💡 select vs poll vs epoll 核心维度对比速查表
| 对比维度 | select | poll | epoll |
|---|---|---|---|
| 底层数据结构 | 固定长度位图(Bitmap) | 结构体动态数组(pollfd) | 红黑树(RB-Tree) + 双向就绪链表 |
| 最大连接数限制 | 默认 1024(受 FD_SETSIZE 限制) | 无硬上限(受系统物理内存限制) | 无硬上限(受系统文件描述符上限限制,如几十万) |
| 内存拷贝开销 | 每次调用必须将全量集合双向拷贝 | 每次调用必须将全量结构体数组双向拷贝 | 零重复全量拷贝(仅在增删时单次修改红黑树,仅拷贝就绪节点) |
| 就绪查找复杂度 | (内核与用户态双重盲目全量扫描) | (内核与用户态双重盲目全量扫描) | (基于中断回调直接消费就绪链表,极速精准) |
| 工作模式支持 | 仅支持水平触发(LT) | 仅支持水平触发(LT) | 同时支持水平触发(LT)与边缘触发(ET) |
| 性能随连接数变化 | 连接数越多,线性扫描越慢,性能断崖下跌 | 连接数越多,线性扫描越慢,性能断崖下跌 | 几乎不受总连接数影响,仅取决于活跃连接数 |
文件系统与硬件存储
软链接与硬链接
- 硬链接(Hard Link):在目录中创建一个新文件名条目,但其直接指向源文件的同一个
inode。每个硬链接会使该inode的链接计数器加 1。删除任何一个硬链接条目,只要inode的引用计数不为 0,文件内容就不会丢失。限制:不能跨越不同的文件系统,且默认不允许对目录创建硬链接。 - 软链接(符号链接 Symbolic Link):一个拥有独立
inode和独立数据块的特殊文件,其数据块内部存储的内容是源文件的路径字符串。访问软链接时,操作系统会自动解析并重定向跳转到实际目标文件。特点:可以跨越不同的文件系统,也可以为目录建立链接;若源文件被删除,软链接依旧存在,但会变成无法打开的“断链”(Dangling Symlink)。
存储介质性能层级
- 机械硬盘(HDD):通过物理磁盘盘片高速旋转(如 7200 RPM)和磁头臂物理寻道来定位和读写数据。随机 I/O 极慢,寻道延迟约 5
10ms,顺序传输速率约 100200 MB/s。 - 固态硬盘(SSD):基于闪存介质(NAND Flash)与主控芯片,无任何机械活动部件。访问延迟约 50~100μs(比 HDD 快上百倍),NVMe SSD 顺序读写可达数千 MB/s,高并发随机读写性能极佳。
- 物理内存(RAM):基于电容和半导体电路的高速易失性存储介质。访问延迟约 10~100ns(比 HDD 快 10 万倍以上),数据带宽可达数十至数百 GB/s。
如果这篇文章对你有帮助,欢迎分享给更多人!
部分信息可能已经过时