孔为民医生个人网站,海口市公司网站建设,wordpress后台入口,wordpress 注册页面开发一、前言 本文旨在记录那些常见的Linux概念和名词#xff0c;但这些又没经常直接使用到#xff0c;更多在底层运行#xff0c;见过却又不是特别清楚的碎片知识#xff0c;以温故知新。
二、知识点和概念说明
2.1、POSIX标准/协议
POSIX#xff08;Portable Operating S…一、前言 本文旨在记录那些常见的Linux概念和名词但这些又没经常直接使用到更多在底层运行见过却又不是特别清楚的碎片知识以温故知新。
二、知识点和概念说明
2.1、POSIX标准/协议
POSIXPortable Operating System Interface可移植操作系统接口是IEEE为在UNIX操作系统上运行软件而定义API的一系列互相关联的标准的总称其正式称呼为IEEE Std 1003POSIX.1 已经被国际标准化组织International Standards OrganizationISO命名为 ISO/IEC 9945-1:1990 标准。简言之POSIX就是Unix的一种标准主要就是IEEE当时为了提高unix生态的兼容性和应用程序的可移植性。这样任何一个 基于POSIX 兼容的操作系统编写的程序都可以在任何其它的 POSIX 操作系统上编译执行。之后这些遵循Posix标准的程序就可跨平台进行POSIX系统调用即调用一组通用的API。
相关资源IEEE Std 1003.1-2001、
Linux之父linus在其书中提到POSIX标准是一个可以适用于数以百计的UNIX系统调用system call中的任意一个的一套冗长规则 计算机要执行任务从读、 写、 开机和关机开始 就需要这个标准。 Linux下对文件操作有两种方式系统调用system call和库函数调用Library functions其中系统调用是操作系统本身的接口是面向底层硬件的。通过系统调用可以使得用户态运行的进程与硬件设备(如CPU、磁盘、打印机等)进行交互是操作系统留给应用程序的一个接口。对于库函数Library function是把函数放到库里一般是一些常用到的函数写入lib文件里供其他人使用的一种方式库函数调用是面向应用开发的由于版权原因库函数的源代码一般是不可见的但在头文件中你可以看到它对外的接口。最常见的比如开源的标准 C 库glibc 它提供了丰富的 APIApplication Programming Interface这些API都是遵循POSIX标准的API的函数名返回值参数类型等都必须按照POSIX标准来定义。即广义的POSIX兼容也就指定这些接口函数兼容其并不管API具体如何实现。目前的POSIX主要分为四个部分Base Definitions、System Interfaces、Shell and Utilities和Rationale。
2.2、MPI-IO标准/协议
2.3、RDMA(远程直接内存访问)
RDMARemote Direct Memory Access是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把资料直接传入计算机的存储区将数据从一个系统快速移动到远程系统存储器中而不对操作系统造成任何影响这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和上下文切换的开销因而能解放内存、带宽和CPU用于改进更多应用系统的性能。
另外这里我们不得不提到DMA即直接内存访问它是一种完全由硬件执行I/O交换的工作方式.在这种方式中 DMA 控制器(DMAC)从CPU 完全接管对总线的控制数据交换不经过CPU 而直接在内存和IO设备之间进行减少大批量数据传输时CPU 的开销也是实现zero-copy的前提。
在传统通信模式中使用TCP/IP协议的应用程序几乎都会采用应用编程接口UNIX BSD的套接字socket来实现网络进程之间的通信。无论编写客户端程序还是服务端程序系统都需要为每个TCP连接都要创建一个socket句柄导致每次传输通信都要经过OS和协议栈的管理无论是Socket同步通信还是异步通信都会存在CPU占用过高的现象。这种传统的TCP/IP通信发送和接收数据的过程中都是在源端应用层数据从上向下逐层拷贝封装目的端从下向上拷贝和解封装需要CPU多次参与比较慢。对此才有了DMA和RDMA更好的数据处理实现。 RDMA让计算机可以直接存取其他计算机的内存而不需要经过处理器的处理。RDMA可将数据从一个系统快速移动到远程系统的内存中过程中本地用户空间虚拟内存与RNIC网卡直接进行数据传输不涉及到系统内核没有额外的数据移动和复制不会对操作系统造成任何影响。RDMA通信过程中发送和接收读/写操作中都是RNIC直接和参与数据传输的已经注册过的内存区域直接进行数据传输速度快不需要CPU参与RDMA网卡接替了CPU的工作。
RDMA 的工作过程如下: 1)当一个应用执行RDMA 读或写请求时不执行任何数据复制.在不需要任何内核内存参与的条件下 RDMA 请求从运行在用户空间中的应用中发送到本地NIC( 网卡)。 2) NIC 读取缓冲的内容并通过网络传送到远程NIC。 3) 在网络上传输的RDMA 信息包含目标虚拟地址、内存钥匙和数据本身.请求完成既可以完全在用户空间中处理(通过轮询用户级完成排列) 或者在应用一直睡眠到请求完成时的情况下通过内核内存处理.RDMA 操作使应用可以从一个远程应用的内存中读数据或向这个内存写数据。 4) 目标NIC 确认内存钥匙直接将数据写入应用缓存中.用于操作的远程虚拟内存地址包含在RDMA 信息中。 使用RDMA的优势如下 零拷贝(Zero-copy) 应用程序直接执行数据传输数据能够被直接发送到缓冲区或者能够直接从缓冲区里接收而不需要被复制到网络层。内核旁路(Kernel bypass) - 应用程序可以直接在用户态执行数据传输不需要在内核态与用户态之间做上下文切换。不需要CPU干预(No CPU involvement) - 应用程序可以访问远程主机内存而不消耗远程主机中的任何CPU。远程主机内存能够被读取而不需要远程主机上的进程或CPU)参与。远程主机的CPU的缓存(cache)不会被访问的内存内容所填充。消息基于事务(Message based transactions) - 数据被处理为离散消息而不是流消除了应用程序将流切割为不同消息/事务的需求。支持分散/聚合条目(Scatter/gather entries support) - RDMA原生态支持分散/聚合。也就是说读取多个内存缓冲区然后作为一个流发出去或者接收一个流然后写入到多个内存缓冲区里去。
