mmap共享内存

mmap共享内存。

mmap (一种内存映射文件的方法)

mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上,如果文件的大小不是所有页的大小之和,最后一个页不被使用的空间将会清零。

mmap在用户空间映射调用系统中作用很大。

头文件

函数原型

申请共享内存:

void mmap(void start,size_t length,int prot,int flags,int fd,off_t offset);

释放共享内存:

int munmap(void* start,size_t length);

注意:

mmap()必须以PAGE_SIZE为单位进行映射,而内存也只能以页为单位进行映射,若要映射非PAGE_SIZE整数倍的地址范围,要先进行内存对齐,强行以PAGE_SIZE的倍数大小进行映射。

参数说明

start:映射区的开始地址,设置为0时表示由系统决定映射区的起始地址。
length:映射区的长度。//长度单位是 以字节为单位,不足一内存页按一内存页处理
prot:期望的内存保护标志,不能与文件的打开模式冲突。是以下的某个值,可以通过or运算合理地组合在一起
PROT_EXEC //页内容可以被执行
PROT_READ //页内容可以被读取
PROT_WRITE //页可以被写入
PROT_NONE //页不可访问
flags:指定映射对象的类型,映射选项和映射页是否可以共享。它的值可以是一个或者多个以下位的组合体
MAP_FIXED //使用指定的映射起始地址,如果由start和len参数指定的内存区重叠于现存的映射空间,重叠部分将会被丢弃。如果指定的起始地址不可用,操作将会失败。并且起始地址必须落在页的边界上。
MAP_SHARED //与其它所有映射这个对象的进程共享映射空间。对共享区的写入,相当于输出到文件。直到msync()或者munmap()被调用,文件实际上不会被更新。
MAP_PRIVATE //建立一个写入时拷贝的私有映射。内存区域的写入不会影响到原文件。这个标志和以上标志是互斥的,只能使用其中一个。
MAP_DENYWRITE //这个标志被忽略。
MAP_EXECUTABLE //同上
MAP_NORESERVE //不要为这个映射保留交换空间。当交换空间被保留,对映射区修改的可能会得到保证。当交换空间不被保留,同时内存不足,对映射区的修改会引起段违例信号。
MAP_LOCKED //锁定映射区的页面,从而防止页面被交换出内存。
MAP_GROWSDOWN //用于堆栈,告诉内核VM系统,映射区可以向下扩展。
MAP_ANONYMOUS //匿名映射,映射区不与任何文件关联。
MAP_ANON //MAP_ANONYMOUS的别称,不再被使用。
MAP_FILE //兼容标志,被忽略。
MAP_32BIT //将映射区放在进程地址空间的低2GB,MAP_FIXED指定时会被忽略。当前这个标志只在x86-64平台上得到支持。
MAP_POPULATE //为文件映射通过预读的方式准备好页表。随后对映射区的访问不会被页违例阻塞。
MAP_NONBLOCK //仅和MAP_POPULATE一起使用时才有意义。不执行预读,只为已存在于内存中的页面建立页表入口。
fd:有效的文件描述词。一般是由open()函数返回,其值也可以设置为-1,此时需要指定flags参数中的MAP_ANON,表明进行的是匿名映射。
offset:被映射对象内容的起点。

返回说明

成功执行时,mmap()返回被映射区的指针,munmap()返回0。失败时,mmap()返回MAP_FAILED[其值为(void *)-1],munmap返回-1。errno被设为以下的某个值

EACCES:访问出错
EAGAIN:文件已被锁定,或者太多的内存已被锁定
EBADF:fd不是有效的文件描述词
EINVAL:一个或者多个参数无效
ENFILE:已达到系统对打开文件的限制
ENODEV:指定文件所在的文件系统不支持内存映射
ENOMEM:内存不足,或者进程已超出最大内存映射数量
EPERM:权能不足,操作不允许
ETXTBSY:已写的方式打开文件,同时指定MAP_DENYWRITE标志
SIGSEGV:试着向只读区写入
SIGBUS:试着访问不属于进程的内存区

设备操作

mmap操作提供了一种机制,让用户程序直接访问设备内存,这种机制,相比较在用户空间和内核空间互相拷贝数据,效率更高。

在要求高性能的应用中比较常用。mmap映射内存必须是页面大小的整数倍,面向流的设备不能进行mmap,mmap的实现和硬件有关。

系统调用

mmap()系统调用使得进程之间通过映射同一个普通文件实现共享内存。

普通文件被映射到进程地址空间后,进程可以像访问普通内存一样对文件进行访问,不必再调用read(),write()等操作。 注:实际上,mmap()系统调用并不是完全为了用于共享内存而设计的。

它本身提供了不同于一般对普通文件的访问方式,进程可以像读写内存一样对普通文件的操作。

而Posix或System V的共享内存IPC则纯粹用于共享目的,当然mmap()实现共享内存也是其主要应用之一。

1、mmap()系统调用形式如下:

void* mmap ( void * addr , size_t len , int prot , int flags , int fd , off_t offset )

参数fd为即将映射到进程空间的文件描述字,一般由open()返回,同时,fd可以指定为-1,此时须指定flags参数中的MAP_ANON,表明进行的是匿名映射(不涉及具体的文件名,避免了文件的创建及打开,很显然只能用于具有亲缘关系的进程间通信)。

len是映射到调用进程地址空间的字节数,它从被映射文件开头offset个字节开始算起。

prot 参数指定共享内存的访问权限。可取如下几个值的或:PROT_READ(可读) , PROT_WRITE (可写), PROT_EXEC (可执行), PROT_NONE(不可访问)。

flags由以下几个常值指定:MAP_SHARED , MAP_PRIVATE , MAP_FIXED,其中,MAP_SHARED , MAP_PRIVATE必选其一,而MAP_FIXED则不推荐使用。

offset参数一般设为0,表示从文件头开始映射。参数addr指定文件应被映射到进程空间的起始地址,一般被指定一个空指针,此时选择起始地址的任务留给内核来完成。

函数的返回值为最后文件映射到进程空间的地址,进程可直接操作起始地址为该值的有效地址。这里不再详细介绍mmap()的参数,读者可参考mmap()手册页获得进一步的信息。

2、系统调用mmap()用于共享内存的两种方式:

(1)使用普通文件提供的内存映射:

适用于任何进程之间;此时,需要打开或创建一个文件,然后再调用mmap();

典型调用代码如下:

fd=open(name, flag, mode);
if(fd<0)
...
ptr=mmap(NULL, len , PROT_READ|PROT_WRITE, MAP_SHARED , fd , 0);

通过mmap()实现共享内存的通信方式有许多特点和要注意的地方,我们将在范例中进行具体说明。

(2)使用特殊文件提供匿名内存映射:

适用于具有亲缘关系的进程之间;

由于父子进程特殊的亲缘关系,在父进程中先调用mmap(),然后调用fork()。

那么在调用fork()之后,子进程继承父进程匿名映射后的地址空间,同样也继承mmap()返回的地址,这样,父子进程就可以通过映射区域进行通信了。

注意:

这里不是一般的继承关系。

一般来说,子进程单独维护从父进程继承下来的一些变量。而mmap()返回的地址,却由父子进程共同维护。

对于具有亲缘关系的进程实现共享内存最好的方式应该是采用匿名内存映射的方式。此时,不必指定具体的文件,只要设置相应的标志即可,参见范例2。

3、系统调用munmap()

int munmap( void * addr, size_t len )

该调用在进程地址空间中解除一个映射关系,addr是调用mmap()时返回的地址,len是映射区的大小。当映射关系解除后,对原来映射地址的访问将导致段错误发生。

4、系统调用msync()

int msync ( void * addr , size_t len, int flags)

一般说来,进程在映射空间的对共享内容的改变并不直接写回到磁盘文件中,往往在调用munmap()后才执行该操作。

可以通过调用msync()实现磁盘上文件内容与共享内存区的内容一致。

进程间共享内存样例代码:

#include <stdio.h>
#include <sys/types.h>
#include <unistd.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <string.h>

const int string_len = 100;

class Data
{
    public:
        char data[string_len];
};

void X(Data *d)
{
    char s[string_len] = "hello A process come here once!";
    strcpy(d->data, s);
    printf("write over!\n");
}

void Y(Data *d)
{
    sleep(3);
    printf("%s\n", d->data);
}

int main()
{
    Data *d;
    d = (Data *)mmap(0, sizeof(Data)*1, PROT_READ | PROT_WRITE, MAP_SHARED|MAP_ANONYMOUS, -1,  0);
    pid_t pid = fork();

    if(pid==0)
    {
        Y(d);
        munmap(d, sizeof(Data)*1);
        return 0;
    }
    else
    {
        X(d);
        munmap(d, sizeof(Data)*1);  
    }
    return 0;
}

映射文件样例代码:

写:

#include <stdio.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>

typedef struct
{
    int id;
    char name[20];
    char gender;
}stu;

int main(int argc, char *argv[])
{
    stu *p = NULL;
    int fd = 0;
    stu student = {10, "harry", 'm'};

    if (argc < 2) {
       printf("useage: ./a.out file\n");
        return -1;
    }

    fd = open(argv[1], O_RDWR | O_CREAT, 0664);
    if (fd == -1) {
        printf("ERROR: open failed!\n");
        return -1;
    }
    ftruncate(fd, sizeof(stu));

    p = mmap(NULL, sizeof(stu), PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
    if (p == MAP_FAILED) {
        printf("ERROR: mmap failed!\n");
        return -1;
    }

    close(fd);

    while (1) {
        memcpy(p, &student, sizeof(stu));
        student.id++;
        sleep(2);
    }
    munmap(p, sizeof(stu));

    return 0;
}

读:

#include <stdio.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>

typedef struct
{
    int id;
    char name[20];
    char gender;
}stu;

int main(int argc, char *argv[])
{
    stu *p = NULL;
    int fd = 0;

   if (argc < 2) {
        printf("useage: ./a.out file\n");
       return -1;
    }

    fd = open(argv[1], O_RDONLY);
    if (fd == -1) {
        printf("ERROR: open failed!\n");
        return -1;
    }

    p = mmap(NULL, sizeof(stu), PROT_READ, MAP_SHARED, fd, 0);
    if (p == MAP_FAILED) {
        printf("ERROR: mmap failed!\n");
        return -1;
    }

    close(fd);

    while (1) {
        printf("id = %d, name = %s, gender = %c\n", p->id, p->name, p->gender);
        sleep(2);
    }

    munmap(p, sizeof(stu));

    return 0;
}

bus error

参考博客:https://blog.csdn.net/lqw198421/article/details/118378506

发生错误的原因是因为mmap不能去扩展一个内容为空的新文件,因为大小为0,所有本没有与之对应的合法的物理页,不能扩展。

需要先使用ftruncate对新建立的文件进行扩展后再映射修改

示例代码:

#include <stdio.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string>

using namespace std;

int main(int argc, char *argv[])
{
    int fd = 0;
    string file_path = "/root/c/test_mmap/1.txt";
    string data = "hello world!";

    fd = open(file_path.c_str(), O_RDWR | O_CREAT, 0664);

    int file_size = data.size();
    //方案1: write(fd,"1",1);
    ftruncate(fd, file_size);   // 方案2

    if (fd == -1) {
        printf("ERROR: open failed!\n");
        return -1;
    }

    char *p = (char*)mmap(NULL, data.size(), PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
    if (p == MAP_FAILED) {
        return -1;
    }
    for(int i=0;i!=data.size();i++)
    {
        p[i]=data[i];
    }
    munmap(p, data.size());
    close(fd);
    return 0;
}
文章目录