网站建设人才调研,wordpress和discuz关联,服装厂家,crm和erp的区别接上文#xff1a;万字带你深入理解 Linux 虚拟内存管理#xff08;上#xff09; 6. 程序编译后的二进制文件如何映射到虚拟内存空间中
经过前边这么多小节的内容介绍#xff0c;现在我们已经熟悉了进程虚拟内存空间的布局#xff0c;以及内核如何管理这些虚拟内存区域万字带你深入理解 Linux 虚拟内存管理上 6. 程序编译后的二进制文件如何映射到虚拟内存空间中
经过前边这么多小节的内容介绍现在我们已经熟悉了进程虚拟内存空间的布局以及内核如何管理这些虚拟内存区域并对进程的虚拟内存空间有了一个完整全面的认识。
现在我们再来回到最初的起点进程的虚拟内存空间 mm_struct 以及这些虚拟内存区域 vm_area_struct 是如何被创建并初始化的呢 在 《3. 进程虚拟内存空间》小节中我们介绍进程的虚拟内存空间时提到我们写的程序代码编译之后会生成一个 ELF 格式的二进制文件这个二进制文件中包含了程序运行时所需要的元信息比如程序的机器码程序中的全局变量以及静态变量等。
这个 ELF 格式的二进制文件中的布局和我们前边讲的虚拟内存空间中的布局类似也是一段一段的每一段包含了不同的元数据。
磁盘文件中的段我们叫做 Section内存中的段我们叫做 Segment也就是内存区域。磁盘文件中的这些 Section 会在进程运行之前加载到内存中并映射到内存中的 Segment。通常是多个 Section 映射到一个 Segment。
比如磁盘文件中的 .text.rodata 等一些只读的 Section会被映射到内存的一个只读可执行的 Segment 里代码段。而 .data.bss 等一些可读写的 Section则会被映射到内存的一个具有读写权限的 Segment 里数据段BSS 段。
那么这些 ELF 格式的二进制文件中的 Section 是如何加载并映射进虚拟内存空间的呢
内核中完成这个映射过程的函数是 load_elf_binary 这个函数的作用很大加载内核的是它启动第一个用户态进程 init 的是它fork 完了以后调用 exec 运行一个二进制程序的也是它。当 exec 运行一个二进制程序的时候除了解析 ELF 的格式之外另外一个重要的事情就是建立上述提到的内存映射。
static int load_elf_binary(struct linux_binprm *bprm)
{...... 省略 ........// 设置虚拟内存空间中的内存映射区域起始地址 mmap_basesetup_new_exec(bprm);...... 省略 ........// 创建并初始化栈对应的 vm_area_struct 结构。// 设置 mm-start_stack 就是栈的起始地址也就是栈底并将 mm-arg_start 是指向栈底的。retval setup_arg_pages(bprm, randomize_stack_top(STACK_TOP),executable_stack);...... 省略 ........// 将二进制文件中的代码部分映射到虚拟内存空间中error elf_map(bprm-file, load_bias vaddr, elf_ppnt,elf_prot, elf_flags, total_size);...... 省略 ........// 创建并初始化堆对应的的 vm_area_struct 结构// 设置 current-mm-start_brk current-mm-brk设置堆的起始地址 start_brk结束地址 brk。 起初两者相等表示堆是空的retval set_brk(elf_bss, elf_brk, bss_prot);...... 省略 ........// 将进程依赖的动态链接库 .so 文件映射到虚拟内存空间中的内存映射区域elf_entry load_elf_interp(loc-interp_elf_ex,interpreter,interp_map_addr,load_bias, interp_elf_phdata);...... 省略 ........// 初始化内存描述符 mm_structcurrent-mm-end_code end_code;current-mm-start_code start_code;current-mm-start_data start_data;current-mm-end_data end_data;current-mm-start_stack bprm-p;...... 省略 ........
}
setup_new_exec 设置虚拟内存空间中的内存映射区域起始地址 mmap_basesetup_arg_pages 创建并初始化栈对应的 vm_area_struct 结构。置 mm-start_stack 就是栈的起始地址也就是栈底并将 mm-arg_start 是指向栈底的。elf_map 将 ELF 格式的二进制文件中.text .data.bss 部分映射到虚拟内存空间中的代码段数据段BSS 段中。set_brk 创建并初始化堆对应的的 vm_area_struct 结构设置 current-mm-start_brk current-mm-brk设置堆的起始地址 start_brk结束地址 brk。 起初两者相等表示堆是空的。load_elf_interp 将进程依赖的动态链接库 .so 文件映射到虚拟内存空间中的内存映射区域初始化内存描述符 mm_struct7. 内核虚拟内存空间
现在我们已经知道了进程虚拟内存空间在内核中的布局以及管理那么内核态的虚拟内存空间又是什么样子的呢本小节笔者就带大家来一层一层地拆开这个黑盒子。
之前在介绍进程虚拟内存空间的时候笔者提到不同进程之间的虚拟内存空间是相互隔离的彼此之间相互独立相互感知不到其他进程的存在。使得进程以为自己拥有所有的内存资源。 而内核态虚拟内存空间是所有进程共享的不同进程进入内核态之后看到的虚拟内存空间全部是一样的。
什么意思呢比如上图中的进程 a进程 b进程 c 分别在各自的用户态虚拟内存空间中访问虚拟地址 x 。由于进程之间的用户态虚拟内存空间是相互隔离相互独立的虽然在进程a进程b进程c 访问的都是虚拟地址 x 但是看到的内容却是不一样的背后可能映射到不同的物理内存中。
但是当进程 a进程 b进程 c 进入到内核态之后情况就不一样了由于内核虚拟内存空间是各个进程共享的所以它们在内核空间中看到的内容全部是一样的比如进程 a进程 b进程 c 在内核态都去访问虚拟地址 y。这时它们看到的内容就是一样的了。
这里笔者和大家澄清一个经常被误解的概念由于内核会涉及到物理内存的管理所以很多人会想当然地认为只要进入了内核态就开始使用物理地址了这就大错特错了千万不要这样理解进程进入内核态之后使用的仍然是虚拟内存地址只不过在内核中使用的虚拟内存地址被限制在了内核态虚拟内存空间范围中这也是本小节笔者要为大家介绍的主题。在清楚了这个基本概念之后下面笔者分别从 32 位体系 和 64 位体系下为大家介绍内核态虚拟内存空间的布局。
7.1 32 位体系内核虚拟内存空间布局
在前边《5.1 内核如何划分用户态和内核态虚拟内存空间》小节中我们提到内核在 /arch/x86/include/asm/page_32_types.h 文件中通过 TASK_SIZE 将进程虚拟内存空间和内核虚拟内存空间分割开来。
/** User space process size: 3GB (default).*/
#define TASK_SIZE __PAGE_OFFSET
__PAGE_OFFSET 的值在 32 位系统下为 0xC000 000在 32 位体系结构下进程用户态虚拟内存空间为 3 GB虚拟内存地址范围为0x0000 0000 - 0xC000 000 。内核态虚拟内存空间为 1 GB虚拟内存地址范围为0xC000 000 - 0xFFFF FFFF。
本小节我们主要关注 0xC000 000 - 0xFFFF FFFF 这段虚拟内存地址区域也就是内核虚拟内存空间的布局情况。 资料直通车Linux内核源码技术学习路线视频教程内核源码 学习直通车Linux内核源码内存调优文件系统进程管理设备驱动/网络协议栈 7.1.1 直接映射区
在总共大小 1G 的内核虚拟内存空间中位于最前边有一块 896M 大小的区域我们称之为直接映射区或者线性映射区地址范围为 3G -- 3G 896m 。
之所以这块 896M 大小的区域称为直接映射区或者线性映射区是因为这块连续的虚拟内存地址会映射到 0 - 896M 这块连续的物理内存上。
也就是说 3G -- 3G 896m 这块 896M 大小的虚拟内存会直接映射到 0 - 896M 这块 896M 大小的物理内存上这块区域中的虚拟内存地址直接减去 0xC000 0000 (3G) 就得到了物理内存地址 。所以我们称这块区域为直接映射区。
为了方便为大家解释我们假设现在机器上的物理内存为 4G 大小虽然这块区域中的虚拟地址是直接映射到物理地址上但是内核在访问这段区域的时候还是走的虚拟内存地址内核也会为这块空间建立映射页表。关于页表的概念笔者后续会为大家详细讲解这里大家只需要简单理解为页表保存了虚拟地址到物理地址的映射关系即可。大家这里只需要记得内核态虚拟内存空间的前 896M 区域是直接映射到物理内存中的前 896M 区域中的直接映射区中的映射关系是一比一映射。映射关系是固定的不会改变 。
明白了这个关系之后我们接下来就看一下这块直接映射区域在物理内存中究竟存的是什么内容~~~
在这段 896M 大小的物理内存中前 1M 已经在系统启动的时候被系统占用1M 之后的物理内存存放的是内核代码段数据段BSS 段这些信息起初存放在 ELF格式的二进制文件中在系统启动的时候被加载进内存。
我们可以通过 cat /proc/iomem 命令查看具体物理内存布局情况。当我们使用 fork 系统调用创建进程的时候内核会创建一系列进程相关的描述符比如之前提到的进程的核心数据结构 task_struct进程的内存空间描述符 mm_struct以及虚拟内存区域描述符 vm_area_struct 等。
这些进程相关的数据结构也会存放在物理内存前 896M 的这段区域中当然也会被直接映射至内核态虚拟内存空间中的 3G -- 3G 896m 这段直接映射区域中。 当进程被创建完毕之后在内核运行的过程中会涉及内核栈的分配内核会为每个进程分配一个固定大小的内核栈一般是两个页大小依赖具体的体系结构每个进程的整个调用链必须放在自己的内核栈中内核栈也是分配在直接映射区。
与进程用户空间中的栈不同的是内核栈容量小而且是固定的用户空间中的栈容量大而且可以动态扩展。内核栈的溢出危害非常巨大它会直接悄无声息的覆盖相邻内存区域中的数据破坏数据。
通过以上内容的介绍我们了解到内核虚拟内存空间最前边的这段 896M 大小的直接映射区如何与物理内存进行映射关联并且清楚了直接映射区主要用来存放哪些内容。
写到这里笔者觉得还是有必要再次从功能划分的角度为大家介绍下这块直接映射区域。
我们都知道内核对物理内存的管理都是以页为最小单位来管理的每页默认 4K 大小理想状况下任何种类的数据页都可以存放在任何页框中没有什么限制。比如存放内核数据用户数据缓冲磁盘数据等。
但是实际的计算机体系结构受到硬件方面的限制制约间接导致限制了页框的使用方式。
比如在 X86 体系结构下ISA 总线的 DMA 直接内存存取控制器只能对内存的前16M 进行寻址这就导致了 ISA 设备不能在整个 32 位地址空间中执行 DMA只能使用物理内存的前 16M 进行 DMA 操作。
因此直接映射区的前 16M 专门让内核用来为 DMA 分配内存这块 16M 大小的内存区域我们称之为 ZONE_DMA。
用于 DMA 的内存必须从 ZONE_DMA 区域中分配。而直接映射区中剩下的部分也就是从 16M 到 896M不包含 896M这段区域我们称之为 ZONE_NORMAL。从字面意义上我们可以了解到这块区域包含的就是正常的页框使用没有任何限制。
ZONE_NORMAL 由于也是属于直接映射区的一部分对应的物理内存 16M 到 896M 这段区域也是被直接映射至内核态虚拟内存空间中的 3G 16M 到 3G 896M 这段虚拟内存上。 注意这里的 ZONE_DMA 和 ZONE_NORMAL 是内核针对物理内存区域的划分。现在物理内存中的前 896M 的区域也就是前边介绍的 ZONE_DMA 和 ZONE_NORMAL 区域到内核虚拟内存空间的映射笔者就为大家介绍完了它们都是采用直接映射的方式一比一就行映射。 7.1.2 ZONE_HIGHMEM 高端内存
而物理内存 896M 以上的区域被内核划分为 ZONE_HIGHMEM 区域我们称之为高端内存。
本例中我们的物理内存假设为 4G高端内存区域为 4G - 896M 3200M那么这块 3200M 大小的 ZONE_HIGHMEM 区域该如何映射到内核虚拟内存空间中呢
由于内核虚拟内存空间中的前 896M 虚拟内存已经被直接映射区所占用而在 32 体系结构下内核虚拟内存空间总共也就 1G 的大小这样一来内核剩余可用的虚拟内存空间就变为了 1G - 896M 128M。
显然物理内存中 3200M 大小的 ZONE_HIGHMEM 区域无法继续通过直接映射的方式映射到这 128M 大小的虚拟内存空间中。
这样一来物理内存中的 ZONE_HIGHMEM 区域就只能采用动态映射的方式映射到 128M 大小的内核虚拟内存空间中也就是说只能动态的一部分一部分的分批映射先映射正在使用的这部分使用完毕解除映射接着映射其他部分。
知道了 ZONE_HIGHMEM 区域的映射原理我们接着往下看这 128M 大小的内核虚拟内存空间究竟是如何布局的 内核虚拟内存空间中的 3G 896M 这块地址在内核中定义为 high_memoryhigh_memory 往上有一段 8M 大小的内存空洞。空洞范围为high_memory 到 VMALLOC_START 。
VMALLOC_START 定义在内核源码 /arch/x86/include/asm/pgtable_32_areas.h 文件中
#define VMALLOC_OFFSET (8 * 1024 * 1024)#define VMALLOC_START ((unsigned long)high_memory VMALLOC_OFFSET)
7.1.3 vmalloc 动态映射区
接下来 VMALLOC_START 到 VMALLOC_END 之间的这块区域成为动态映射区。采用动态映射的方式映射物理内存中的高端内存。
#ifdef CONFIG_HIGHMEM
# define VMALLOC_END (PKMAP_BASE - 2 * PAGE_SIZE)
#else
# define VMALLOC_END (LDT_BASE_ADDR - 2 * PAGE_SIZE)
#endif 和用户态进程使用 malloc 申请内存一样在这块动态映射区内核是使用 vmalloc 进行内存分配。由于之前介绍的动态映射的原因vmalloc 分配的内存在虚拟内存上是连续的但是物理内存是不连续的。通过页表来建立物理内存与虚拟内存之间的映射关系从而可以将不连续的物理内存映射到连续的虚拟内存上。
由于 vmalloc 获得的物理内存页是不连续的因此它只能将这些物理内存页一个一个地进行映射在性能开销上会比直接映射大得多。关于 vmalloc 分配内存的相关实现原理笔者会在后面的文章中为大家讲解这里大家只需要明白它在哪块虚拟内存区域中活动即可。
7.1.4 永久映射区 而在 PKMAP_BASE 到 FIXADDR_START 之间的这段空间称为永久映射区。在内核的这段虚拟地址空间中允许建立与物理高端内存的长期映射关系。比如内核通过 alloc_pages() 函数在物理内存的高端内存中申请获取到的物理内存页这些物理内存页可以通过调用 kmap 映射到永久映射区中。
LAST_PKMAP 表示永久映射区可以映射的页数限制。#define PKMAP_BASE \((LDT_BASE_ADDR - PAGE_SIZE) PMD_MASK)#define LAST_PKMAP 1024
8.1.5 固定映射区 内核虚拟内存空间中的下一个区域为固定映射区区域范围为FIXADDR_START 到 FIXADDR_TOP。
FIXADDR_START 和 FIXADDR_TOP 定义在内核源码 /arch/x86/include/asm/fixmap.h 文件中
#define FIXADDR_START (FIXADDR_TOP - FIXADDR_SIZE)extern unsigned long __FIXADDR_TOP; // 0xFFFF F000
#define FIXADDR_TOP ((unsigned long)__FIXADDR_TOP)
在内核虚拟内存空间的直接映射区中直接映射区中的虚拟内存地址与物理内存前 896M 的空间的映射关系都是预设好的一比一映射。
在固定映射区中的虚拟内存地址可以自由映射到物理内存的高端地址上但是与动态映射区以及永久映射区不同的是在固定映射区中虚拟地址是固定的而被映射的物理地址是可以改变的。也就是说有些虚拟地址在编译的时候就固定下来了是在内核启动过程中被确定的而这些虚拟地址对应的物理地址不是固定的。采用固定虚拟地址的好处是它相当于一个指针常量常量的值在编译时确定指向物理地址如果虚拟地址不固定则相当于一个指针变量。
那为什么会有固定映射这个概念呢 ? 比如在内核的启动过程中有些模块需要使用虚拟内存并映射到指定的物理地址上而且这些模块也没有办法等待完整的内存管理模块初始化之后再进行地址映射。因此内核固定分配了一些虚拟地址这些地址有固定的用途使用该地址的模块在初始化的时候将这些固定分配的虚拟地址映射到指定的物理地址上去。
7.1.6 临时映射区
在内核虚拟内存空间中的最后一块区域为临时映射区那么这块临时映射区是用来干什么的呢 在之前文章 《从 Linux 内核角度探秘 JDK NIO 文件读写本质》 的 “ 12.3 iov_iter_copy_from_user_atomic ” 小节中介绍在 Buffered IO 模式下进行文件写入的时候在下图中的第四步内核会调用 iov_iter_copy_from_user_atomic 函数将用户空间缓冲区 DirectByteBuffer 中的待写入数据拷贝到 page cache 中。 但是内核又不能直接进行拷贝因为此时从 page cache 中取出的缓存页 page 是物理地址而在内核中是不能够直接操作物理地址的只能操作虚拟地址。
那怎么办呢所以就需要使用 kmap_atomic 将缓存页临时映射到内核空间的一段虚拟地址上这段虚拟地址就位于内核虚拟内存空间中的临时映射区上然后将用户空间缓存区 DirectByteBuffer 中的待写入数据通过这段映射的虚拟地址拷贝到 page cache 中的相应缓存页中。这时文件的写入操作就已经完成了。
由于是临时映射所以在拷贝完成之后调用 kunmap_atomic 将这段映射再解除掉。
size_t iov_iter_copy_from_user_atomic(struct page *page,struct iov_iter *i, unsigned long offset, size_t bytes)
{// 将缓存页临时映射到内核虚拟地址空间的临时映射区中char *kaddr kmap_atomic(page), *p kaddr offset;// 将用户缓存区 DirectByteBuffer 中的待写入数据拷贝到文件缓存页中iterate_all_kinds(i, bytes, v,copyin((p v.iov_len) - v.iov_len, v.iov_base, v.iov_len),memcpy_from_page((p v.bv_len) - v.bv_len, v.bv_page,v.bv_offset, v.bv_len),memcpy((p v.iov_len) - v.iov_len, v.iov_base, v.iov_len))// 解除内核虚拟地址空间与缓存页之间的临时映射这里映射只是为了临时拷贝数据用kunmap_atomic(kaddr);return bytes;
}
7.1.7 32位体系结构下 Linux 虚拟内存空间整体布局
到现在为止整个内核虚拟内存空间在 32 位体系下的布局笔者就为大家详细介绍完毕了我们再次结合前边《4.1 32 位机器上进程虚拟内存空间分布》小节中介绍的进程虚拟内存空间和本小节介绍的内核虚拟内存空间来整体回顾下 32 位体系结构 Linux 的整个虚拟内存空间的布局 7.2 64 位体系内核虚拟内存空间布局
内核虚拟内存空间在 32 位体系下只有 1G 大小实在太小了因此需要精细化的管理于是按照功能分类划分除了很多内核虚拟内存区域这样就显得非常复杂。
到了 64 位体系下内核虚拟内存空间的布局和管理就变得容易多了因为进程虚拟内存空间和内核虚拟内存空间各自占用 128T 的虚拟内存实在是太大了我们可以在这里边随意翱翔随意挥霍。
因此在 64 位体系下的内核虚拟内存空间与物理内存的映射就变得非常简单由于虚拟内存空间足够的大即便是内核要访问全部的物理内存直接映射就可以了不在需要用到《7.1.2 ZONE_HIGHMEM 高端内存》小节中介绍的高端内存那种动态映射方式。
在前边《5.1 内核如何划分用户态和内核态虚拟内存空间》小节中我们提到内核在 /arch/x86/include/asm/page_64_types.h 文件中通过 TASK_SIZE 将进程虚拟内存空间和内核虚拟内存空间分割开来。
#define TASK_SIZE (test_thread_flag(TIF_ADDR32) ? \IA32_PAGE_OFFSET : TASK_SIZE_MAX)#define TASK_SIZE_MAX task_size_max()#define task_size_max() ((_AC(1,UL) __VIRTUAL_MASK_SHIFT) - PAGE_SIZE)#define __VIRTUAL_MASK_SHIFT 47
64 位系统中的 TASK_SIZE 为 0x00007FFFFFFFF00064位地址空间.png
在 64 位系统中只使用了其中的低 48 位来表示虚拟内存地址。其中用户态虚拟内存空间为低 128 T虚拟内存地址范围为0x0000 0000 0000 0000 - 0x0000 7FFF FFFF F000 。
内核态虚拟内存空间为高 128 T虚拟内存地址范围为0xFFFF 8000 0000 0000 - 0xFFFF FFFF FFFF FFFF 。
本小节我们主要关注 0xFFFF 8000 0000 0000 - 0xFFFF FFFF FFFF FFFF 这段内核虚拟内存空间的布局情况。 64 位内核虚拟内存空间从 0xFFFF 8000 0000 0000 开始到 0xFFFF 8800 0000 0000 这段地址空间是一个 8T 大小的内存空洞区域。
紧着着 8T 大小的内存空洞下一个区域就是 64T 大小的直接映射区。这个区域中的虚拟内存地址减去 PAGE_OFFSET 就直接得到了物理内存地址。
PAGE_OFFSET 变量定义在 /arch/x86/include/asm/page_64_types.h 文件中
#define __PAGE_OFFSET_BASE _AC(0xffff880000000000, UL)
#define __PAGE_OFFSET __PAGE_OFFSET_BASE
从图中 VMALLOC_START 到 VMALLOC_END 的这段区域是 32T 大小的 vmalloc 映射区这里类似用户空间中的堆内核在这里使用 vmalloc 系统调用申请内存。
VMALLOC_START 和 VMALLOC_END 变量定义在 /arch/x86/include/asm/pgtable_64_types.h 文件中
#define __VMALLOC_BASE_L4 0xffffc90000000000UL#define VMEMMAP_START __VMEMMAP_BASE_L4#define VMALLOC_END (VMALLOC_START (VMALLOC_SIZE_TB 40) - 1)
从 VMEMMAP_START 开始是 1T 大小的虚拟内存映射区用于存放物理页面的描述符 struct page 结构用来表示物理内存页。
VMEMMAP_START 变量定义在 /arch/x86/include/asm/pgtable_64_types.h 文件中
#define __VMEMMAP_BASE_L4 0xffffea0000000000UL# define VMEMMAP_START __VMEMMAP_BASE_L4
从 __START_KERNEL_map 开始是大小为 512M 的区域用于存放内核代码段、全局变量、BSS 等。这里对应到物理内存开始的位置减去 __START_KERNEL_map 就能得到物理内存的地址。这里和直接映射区有点像但是不矛盾因为直接映射区之前有 8T 的空洞区域早就过了内核代码在物理内存中加载的位置。
__START_KERNEL_map 变量定义在 /arch/x86/include/asm/page_64_types.h 文件中
#define __START_KERNEL_map _AC(0xffffffff80000000, UL)
7.2.1 64位体系结构下 Linux 虚拟内存空间整体布局
到现在为止整个内核虚拟内存空间在 64 位体系下的布局笔者就为大家详细介绍完毕了我们再次结合前边《4.2 64 位机器上进程虚拟内存空间分布》小节介绍的进程虚拟内存空间和本小节介绍的内核虚拟内存空间来整体回顾下 64 位体系结构 Linux 的整个虚拟内存空间的布局 8. 到底什么是物理内存地址
聊完了虚拟内存我们接着聊一下物理内存我们平时所称的内存也叫随机访问存储器 random-access memory 也叫 RAM 。而 RAM 分为两类
一类是静态 RAM SRAM 这类 SRAM 用于 CPU 高速缓存 L1CacheL2CacheL3Cache。其特点是访问速度快访问速度为 1 - 30 个时钟周期但是容量小造价高。CPU缓存结构.png
另一类则是动态 RAM ( DRAM )这类 DRAM 用于我们常说的主存上其特点的是访问速度慢相对高速缓存访问速度为 50 - 200 个时钟周期但是容量大造价便宜些相对高速缓存。
内存由一个一个的存储器模块memory module组成它们插在主板的扩展槽上。常见的存储器模块通常以 64 位为单位 8 个字节传输数据到存储控制器上或者从存储控制器传出数据。 如图所示内存条上黑色的元器件就是存储器模块memory module。多个存储器模块连接到存储控制器上就聚合成了主存。 内存结构.png
而 DRAM 芯片就包装在存储器模块中每个存储器模块中包含 8 个 DRAM 芯片依次编号为 0 - 7 。 存储器模块.png
而每一个 DRAM 芯片的存储结构是一个二维矩阵二维矩阵中存储的元素我们称为超单元supercell每个 supercell 大小为一个字节8 bit。每个 supercell 都由一个坐标地址ij。
i 表示二维矩阵中的行地址在计算机中行地址称为 RAS (row access strobe行访问选通脉冲)。 j 表示二维矩阵中的列地址在计算机中列地址称为 CAS (column access strobe,列访问选通脉冲)。下图中的 supercell 的 RAS 2CAS 2。 DRAM结构.png
DRAM 芯片中的信息通过引脚流入流出 DRAM 芯片。每个引脚携带 1 bit的信号。
图中 DRAM 芯片包含了两个地址引脚( addr )因为我们要通过 RASCAS 来定位要获取的 supercell 。还有 8 个数据引脚data因为 DRAM 芯片的 IO 单位为一个字节8 bit所以需要 8 个 data 引脚从 DRAM 芯片传入传出数据。
注意这里只是为了解释地址引脚和数据引脚的概念实际硬件中的引脚数量是不一定的。8.1 DRAM 芯片的访问
我们现在就以读取上图中坐标地址为22的 supercell 为例来说明访问 DRAM 芯片的过程。 DRAM芯片访问.png
首先存储控制器将行地址 RAS 2 通过地址引脚发送给 DRAM 芯片。DRAM 芯片根据 RAS 2 将二维矩阵中的第二行的全部内容拷贝到内部行缓冲区中。接下来存储控制器会通过地址引脚发送 CAS 2 到 DRAM 芯片中。DRAM芯片从内部行缓冲区中根据 CAS 2 拷贝出第二列的 supercell 并通过数据引脚发送给存储控制器。
DRAM 芯片的 IO 单位为一个 supercell 也就是一个字节(8 bit)。8.2 CPU 如何读写主存
前边我们介绍了内存的物理结构以及如何访问内存中的 DRAM 芯片获取 supercell 中存储的数据一个字节。本小节我们来介绍下 CPU 是如何访问内存的 CPU与内存之间的总线结构.png
CPU 与内存之间的数据交互是通过总线bus完成的而数据在总线上的传送是通过一系列的步骤完成的这些步骤称为总线事务bus transaction。
其中数据从内存传送到 CPU 称之为读事务read transaction数据从 CPU 传送到内存称之为写事务write transaction。
总线上传输的信号包括地址信号数据信号控制信号。其中控制总线上传输的控制信号可以同步事务并能够标识出当前正在被执行的事务信息
当前这个事务是到内存的还是到磁盘的或者是到其他 IO 设备的这个事务是读还是写总线上传输的地址信号物理内存地址还是数据信号数据。
这里大家需要注意总线上传输的地址均为物理内存地址 。比如在 MESI 缓存一致性协议中当 CPU core0 修改字段 a 的值时其他 CPU 核心会在总线上嗅探字段 a 的物理内存地址 如果嗅探到总线上出现字段 a 的物理内存地址 说明有人在修改字段 a这样其他 CPU 核心就会失效字段 a 所在的 cache line 。如上图所示其中系统总线是连接 CPU 与 IO bridge 的存储总线是来连接 IO bridge 和主存的。
IO bridge 负责将系统总线上的电子信号转换成存储总线上的电子信号。IO bridge 也会将系统总线和存储总线连接到IO总线磁盘等IO设备上。这里我们看到 IO bridge 其实起的作用就是转换不同总线上的电子信号。
8.3 CPU 从内存读取数据过程
假设 CPU 现在需要将物理内存地址为 A 的内容加载到寄存器中进行运算。
大家需要注意的是 CPU 只会访问虚拟内存在操作总线之前需要把虚拟内存地址转换为物理内存地址总线上传输的都是物理内存地址这里省略了虚拟内存地址到物理内存地址的转换过程这部分内容笔者会在后续文章的相关章节详细为大家讲解这里我们聚焦如果通过物理内存地址读取内存数据。CPU读取内存.png
首先 CPU 芯片中的总线接口会在总线上发起读事务read transaction。 该读事务分为以下步骤进行
CPU 将物理内存地址 A 放到系统总线上。随后 IO bridge 将信号传递到存储总线上。主存感受到存储总线上的地址信号并通过存储控制器将存储总线上的物理内存地址 A 读取出来。存储控制器通过物理内存地址 A 定位到具体的存储器模块从 DRAM 芯片中取出物理内存地址 A 对应的数据 X。存储控制器将读取到的数据 X 放到存储总线上随后 IO bridge 将存储总线上的数据信号转换为系统总线上的数据信号然后继续沿着系统总线传递。CPU 芯片感受到系统总线上的数据信号将数据从系统总线上读取出来并拷贝到寄存器中。
以上就是 CPU 读取内存数据到寄存器中的完整过程。
但是其中还涉及到一个重要的过程这里我们还是需要摊开来介绍一下那就是存储控制器如何通过物理内存地址 A 从主存中读取出对应的数据 X 的
接下来我们结合前边介绍的内存结构以及从 DRAM 芯片读取数据的过程来总体介绍下如何从主存中读取数据。
8.4 如何根据物理内存地址从主存中读取数据
前边介绍到当主存中的存储控制器感受到了存储总线上的地址信号时会将内存地址从存储总线上读取出来。
随后会通过内存地址定位到具体的存储器模块。还记得内存结构中的存储器模块吗 内存结构.png
而每个存储器模块中包含了 8 个 DRAM 芯片编号从 0 - 7 。 存储器模块.png
存储控制器会将物理内存地址 转换为 DRAM 芯片中 supercell 在二维矩阵中的坐标地址(RASCAS)。并将这个坐标地址发送给对应的存储器模块。随后存储器模块会将 RAS 和 CAS 广播到存储器模块中的所有 DRAM 芯片。依次通过 (RASCAS) 从 DRAM0 到 DRAM7 读取到相应的 supercell 。 DRAM芯片访问.png
我们知道一个 supercell 存储了一个字节 8 bit 数据这里我们从 DRAM0 到 DRAM7 依次读取到了 8 个 supercell 也就是 8 个字节然后将这 8 个字节返回给存储控制器由存储控制器将数据放到存储总线上。
CPU 总是以 word size 为单位从内存中读取数据在 64 位处理器中的 word size 为 8 个字节。64 位的内存每次只能吞吐 8 个字节。
CPU 每次会向内存读写一个 cache line 大小的数据 64 个字节但是内存一次只能吞吐 8 个字节。所以在物理内存地址对应的存储器模块中DRAM0 芯片存储第一个低位字节 supercell DRAM1 芯片存储第二个字节......依次类推 DRAM7 芯片存储最后一个高位字节。 读取存储器模块数据.png
由于存储器模块中这种由 8 个 DRAM 芯片组成的物理存储结构的限制内存读取数据只能是按照物理内存地址8 个字节 8 个字节地顺序读取数据。所以说内存一次读取和写入的单位是 8 个字节。 内存IO单位.png
而且在程序员眼里连续的物理内存地址实际上在物理上是不连续的。因为这连续的 8 个字节其实是存储于不同的 DRAM 芯片上的。每个 DRAM 芯片存储一个字节supercell
8.5 CPU 向内存写入数据过程
我们现在假设 CPU 要将寄存器中的数据 X 写到物理内存地址 A 中。同样的道理CPU 芯片中的总线接口会向总线发起写事务write transaction。写事务步骤如下
CPU 将要写入的物理内存地址 A 放入系统总线上。通过 IO bridge 的信号转换将物理内存地址 A 传递到存储总线上。存储控制器感受到存储总线上的地址信号将物理内存地址 A 从存储总线上读取出来并等待数据的到达。CPU 将寄存器中的数据拷贝到系统总线上通过 IO bridge 的信号转换将数据传递到存储总线上。存储控制器感受到存储总线上的数据信号将数据从存储总线上读取出来。存储控制器通过内存地址 A 定位到具体的存储器模块最后将数据写入存储器模块中的 8 个 DRAM 芯片中。
总结
本文我们从虚拟内存地址开始聊起一直到物理内存地址结束包含的信息量还是比较大的。首先笔者通过一个进程的运行实例为大家引出了内核引入虚拟内存空间的目的及其需要解决的问题。
在我们有了虚拟内存空间的概念之后又近一步为大家介绍了内核如何划分用户态虚拟内存空间和内核态虚拟内存空间并在次基础之上分别从 32 位体系结构和 64 位体系结构的角度详细阐述了 Linux 虚拟内存空间的整体布局分布。
我们可以通过 cat /proc/pid/maps 或者 pmap pid 命令来查看进程用户态虚拟内存空间的实际分布。还可以通过 cat /proc/iomem 命令来查看进程内核态虚拟内存空间的的实际分布。
在我们清楚了 Linux 虚拟内存空间的整体布局分布之后笔者又介绍了 Linux 内核如何对分布在虚拟内存空间中的各个虚拟内存区域进行管理以及每个虚拟内存区域的作用。在这个过程中还介绍了相关的内核数据结构近一步从内核源码实现角度加深大家对虚拟内存空间的理解。
最后介绍了物理内存的结构以及 CPU 如何通过物理内存地址来读写内存中的数据。这里特地再次强调的是 CPU 只会访问虚拟内存地址只不过在操作总线之前通过一个地址转换硬件将虚拟内存地址转换为物理内存地址然后将物理内存地址作为地址信号放在总线上传输由于地址转换的内容和本文主旨无关考虑到文章的篇幅以及复杂性就没有过多的介绍。
