[其他] Linux 高性能服务 epoll 的本质,真的不简单

[复制链接]
 楼主| 问天少年 发表于 2022-5-29 12:57 | 显示全部楼层 |阅读模式
原文:公众号:一口Linux
链接:https://mp.weixin.qq.com/s/rpk0QmNfNiUoUH1fuDUpuA
设想一个场景:有100万用户同时与一个进程保持着TCP连接,而每一时刻只有几十个或几百个TCP连接是活跃的(接收TCP包),也就是说在每一时刻进程只需要处理这100万连接中的一小部分连接。
那么,如何才能高效的处理这种场景呢?进程是否在每次询问操作系统收集有事件发生的TCP连接时,把这100万个连接告诉操作系统,然后由操作系统找出其中有事件发生的几百个连接呢?实际上,在 Linux2.4 版本以前,那时的select 或者 poll 事件驱动方式是这样做的。
这里有个非常明显的问题,即在某一时刻,进程收集有事件的连接时,其实这100万连接中的大部分都是没有事件发生的。
因此如果每次收集事件时,都把100万连接的套接字传给操作系统(这首先是用户态内存到内核态内存的大量复制),而由操作系统内核寻找这些连接上有没有未处理的事件,将会是巨大的资源浪费,然后select和poll就是这样做的,因此它们最多只能处理几千个并发连接。
而epoll不这样做,它在Linux内核中申请了一个简易的文件系统,把原先的一个select或poll调用分成了3部分:
  1. int epoll_create(int size);  
  2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);  
  3. int epoll_wait(int epfd, struct epoll_event *events,int maxevents, int timeout);
  • 调用 epoll_create 建立一个 epoll 对象(在epoll文件系统中给这个句柄分配资源);
  • 调用 epoll_ctl 向 epoll 对象中添加这100万个连接的套接字;
  • 调用 epoll_wait 收集发生事件的连接。

  • 这样只需要在进程启动时建立 1 个 epoll 对象,并在需要的时候向它添加或删除连接就可以了,因此,在实际收集事件时,epoll_wait 的效率就会非常高,因为调用 epoll_wait 时并没有向它传递这100万个连接,内核也不需要去遍历全部的连接。



 楼主| 问天少年 发表于 2022-5-29 12:58 | 显示全部楼层
一、epoll原理详解
当某一进程调用 epoll_create 方法时,Linux 内核会创建一个 eventpoll 结构体,这个结构体中有两个成员与epoll的使用方式密切相关,如下所示:
  1. struct eventpoll {
  2.   ...
  3.   /*红黑树的根节点,这棵树中存储着所有添加到epoll中的事件,
  4.   也就是这个epoll监控的事件*/
  5.   struct rb_root rbr;
  6.   /*双向链表rdllist保存着将要通过epoll_wait返回给用户的、满足条件的事件*/
  7.   struct list_head rdllist;
  8.   ...
  9. };
我们在调用 epoll_create 时,内核除了帮我们在 epoll 文件系统里建了个 file 结点,在内核 cache 里建了个红黑树用于存储以后 epoll_ctl 传来的 socket 外,还会再建立一个 rdllist 双向链表,用于存储准备就绪的事件,当 epoll_wait 调用时,仅仅观察这个 rdllist 双向链表里有没有数据即可。
有数据就返回,没有数据就 sleep,等到 timeout 时间到后即使链表没数据也返回。所以,epoll_wait 非常高效。
所有添加到epoll中的事件都会与设备(如网卡)驱动程序建立回调关系,也就是说相应事件的发生时会调用这里的回调方法。这个回调方法在内核中叫做ep_poll_callback,它会把这样的事件放到上面的rdllist双向链表中。
在epoll中对于每一个事件都会建立一个epitem结构体,如下所示:
  1. struct epitem {
  2.   ...
  3.   //红黑树节点
  4.   struct rb_node rbn;
  5.   //双向链表节点
  6.   struct list_head rdllink;
  7.   //事件句柄等信息
  8.   struct epoll_filefd ffd;
  9.   //指向其所属的eventepoll对象
  10.   struct eventpoll *ep;
  11.   //期待的事件类型
  12.   struct epoll_event event;
  13.   ...
  14. }; // 这里包含每一个事件对应着的信息。
当调用 epoll_wait 检查是否有发生事件的连接时,只是检查eventpoll对象中的rdllist双向链表是否有epitem元素而已,如果rdllist链表不为空,则这里的事件复制到用户态内存(使用共享内存提高效率)中,同时将事件数量返回给用户。
因此epoll_waitx效率非常高。epoll_ctl在向epoll对象中添加、修改、删除事件时,从rbr红黑树中查找事件也非常快,也就是说epoll是非常高效的,它可以轻易地处理百万级别的并发连接。
881256292fd6c3f272.png
【总结】:
一颗红黑树,一张准备就绪句柄链表,少量的内核cache,就帮我们解决了大并发下的socket处理问题。
  • 执行 epoll_create() 时,创建了红黑树和就绪链表;
  • 执行 epoll_ctl() 时,如果增加 socket 句柄,则检查在红黑树中是否存在,存在立即返回,不存在则添加到树干上,然后向内核注册回调函数,用于当中断事件来临时向准备就绪链表中插入数据;
  • 执行 epoll_wait() 时立刻返回准备就绪链表里的数据即可。

101326292fd867f35f.png

 楼主| 问天少年 发表于 2022-5-29 12:59 | 显示全部楼层
二、epoll 的两种触发模式
epoll有EPOLLLT和EPOLLET两种触发模式,LT是默认的模式,ET是“高速”模式。
  • LT(水平触发)模式下,只要这个文件描述符还有数据可读,每次 epoll_wait都会返回它的事件,提醒用户程序去操作;
  • ET(边缘触发)模式下,在它检测到有 I/O 事件时,通过 epoll_wait 调用会得到有事件通知的文件描述符,对于每一个被通知的文件描述符,如可读,则必须将该文件描述符一直读到空,让 errno 返回 EAGAIN 为止,否则下次的 epoll_wait 不会返回余下的数据,会丢掉事件。如果ET模式不是非阻塞的,那这个一直读或一直写势必会在最后一次阻塞。

还有一个特点是,epoll使用“事件”的就绪通知方式,通过epoll_ctl注册fd,一旦该fd就绪,内核就会采用类似callback的回调机制来激活该fd,epoll_wait便可以收到通知。
569476292fd9c1e84d.png

 楼主| 问天少年 发表于 2022-5-29 13:00 | 显示全部楼层
【epoll为什么要有EPOLLET触发模式?】:
如果采用 EPOLLLT 模式的话,系统中一旦有大量你不需要读写的就绪文件描述符,它们每次调用epoll_wait都会返回,这样会大大降低处理程序检索自己关心的就绪文件描述符的效率。
而采用EPOLLET这种边缘触发模式的话,当被监控的文件描述符上有可读写事件发生时,epoll_wait()会通知处理程序去读写。
如果这次没有把数据全部读写完(如读写缓冲区太小),那么下次调用epoll_wait()时,它不会通知你,也就是它只会通知你一次,直到该文件描述符上出现第二次可读写事件才会通知你!!!这种模式比水平触发效率高,系统不会充斥大量你不关心的就绪文件描述符。
【总结】:
  • ET模式(边缘触发)只有数据到来才触发,不管缓存区中是否还有数据,缓冲区剩余未读尽的数据不会导致epoll_wait返回;
  • LT 模式(水平触发,默认)只要有数据都会触发,缓冲区剩余未读尽的数据会导致epoll_wait返回。


 楼主| 问天少年 发表于 2022-5-29 13:00 | 显示全部楼层
三、epoll反应堆模型
【epoll模型原来的流程】:
  1. epoll_create(); // 创建监听红黑树
  2. epoll_ctl(); // 向书上添加监听fd
  3. epoll_wait(); // 监听
  4. 有监听fd事件发送--->返回监听满足数组--->判断返回数组元素--->
  5. lfd满足accept--->返回cfd---->read()读数据--->write()给客户端回应。
962116292fdf7c6ab6.png

 楼主| 问天少年 发表于 2022-5-29 13:02 | 显示全部楼层
demo
  1. #include <stdio.h>
  2. #include <sys/socket.h>
  3. #include <sys/epoll.h>
  4. #include <arpa/inet.h>
  5. #include <fcntl.h>
  6. #include <unistd.h>
  7. #include <errno.h>
  8. #include <string.h>
  9. #include <stdlib.h>
  10. #include <time.h>

  11. #define MAX_EVENTS 1024 /*监听上限*/
  12. #define BUFLEN  4096    /*缓存区大小*/
  13. #define SERV_PORT 6666  /*端口号*/

  14. void recvdata(int fd,int events,void *arg);
  15. void senddata(int fd,int events,void *arg);

  16. /*描述就绪文件描述符的相关信息*/
  17. struct myevent_s
  18. {
  19.     int fd;             //要监听的文件描述符
  20.     int events;         //对应的监听事件,EPOLLIN和EPLLOUT
  21.     void *arg;          //指向自己结构体指针
  22.     void (*call_back)(int fd,int events,void *arg); //回调函数
  23.     int status;         //是否在监听:1->在红黑树上(监听), 0->不在(不监听)
  24.     char buf[BUFLEN];   
  25.     int len;
  26.     long last_active;   //记录每次加入红黑树 g_efd 的时间值
  27. };

  28. int g_efd;      //全局变量,作为红黑树根
  29. struct myevent_s g_events[MAX_EVENTS+1];    //自定义结构体类型数组. +1-->listen fd

  30. /*
  31. * 封装一个自定义事件,包括fd,这个fd的回调函数,还有一个额外的参数项
  32. * 注意:在封装这个事件的时候,为这个事件指明了回调函数,一般来说,一个fd只对一个特定的事件
  33. * 感兴趣,当这个事件发生的时候,就调用这个回调函数
  34. */
  35. void eventset(struct myevent_s *ev, int fd, void (*call_back)(int fd,int events,void *arg), void *arg)
  36. {
  37.     ev->fd = fd;
  38.     ev->call_back = call_back;
  39.     ev->events = 0;
  40.     ev->arg = arg;
  41.     ev->status = 0;
  42.     if(ev->len <= 0)
  43.     {
  44.         memset(ev->buf, 0, sizeof(ev->buf));
  45.         ev->len = 0;
  46.     }
  47.     ev->last_active = time(NULL); //调用eventset函数的时间
  48.     return;
  49. }

  50. /* 向 epoll监听的红黑树 添加一个文件描述符 */
  51. void eventadd(int efd, int events, struct myevent_s *ev)
  52. {
  53.     struct epoll_event epv={0, {0}};
  54.     int op = 0;
  55.     epv.data.ptr = ev; // ptr指向一个结构体(之前的epoll模型红黑树上挂载的是文件描述符cfd和lfd,现在是ptr指针)
  56.     epv.events = ev->events = events; //EPOLLIN 或 EPOLLOUT
  57.     if(ev->status == 0)       //status 说明文件描述符是否在红黑树上 0不在,1 在
  58.     {
  59.         op = EPOLL_CTL_ADD; //将其加入红黑树 g_efd, 并将status置1
  60.         ev->status = 1;
  61.     }
  62.     if(epoll_ctl(efd, op, ev->fd, &epv) < 0) // 添加一个节点
  63.         printf("event add failed [fd=%d],events[%d]\n", ev->fd, events);
  64.     else
  65.         printf("event add OK [fd=%d],events[%0X]\n", ev->fd, events);
  66.     return;
  67. }

  68. /* 从epoll 监听的 红黑树中删除一个文件描述符*/
  69. void eventdel(int efd,struct myevent_s *ev)
  70. {
  71.     struct epoll_event epv = {0, {0}};
  72.     if(ev->status != 1) //如果fd没有添加到监听树上,就不用删除,直接返回
  73.         return;
  74.     epv.data.ptr = NULL;
  75.     ev->status = 0;
  76.     epoll_ctl(efd, EPOLL_CTL_DEL, ev->fd, &epv);
  77.     return;
  78. }

  79. /*  当有文件描述符就绪, epoll返回, 调用该函数与客户端建立链接 */
  80. void acceptconn(int lfd,int events,void *arg)
  81. {
  82.     struct sockaddr_in cin;
  83.     socklen_t len = sizeof(cin);
  84.     int cfd, i;
  85.     if((cfd = accept(lfd, (struct sockaddr *)&cin, &len)) == -1)
  86.     {
  87.         if(errno != EAGAIN && errno != EINTR)
  88.         {
  89.             sleep(1);
  90.         }
  91.         printf("%s:accept,%s\n",__func__, strerror(errno));
  92.         return;
  93.     }
  94.     do
  95.     {
  96.         for(i = 0; i < MAX_EVENTS; i++) //从全局数组g_events中找一个空闲元素,类似于select中找值为-1的元素
  97.         {
  98.             if(g_events[i].status ==0)
  99.                 break;
  100.         }
  101.         if(i == MAX_EVENTS) // 超出连接数上限
  102.         {
  103.             printf("%s: max connect limit[%d]\n", __func__, MAX_EVENTS);
  104.             break;
  105.         }
  106.         int flag = 0;
  107.         if((flag = fcntl(cfd, F_SETFL, O_NONBLOCK)) < 0) //将cfd也设置为非阻塞
  108.         {
  109.             printf("%s: fcntl nonblocking failed, %s\n", __func__, strerror(errno));
  110.             break;
  111.         }
  112.         eventset(&g_events[i], cfd, recvdata, &g_events[i]); //找到合适的节点之后,将其添加到监听树中,并监听读事件
  113.         eventadd(g_efd, EPOLLIN, &g_events[i]);
  114.     }while(0);

  115.     printf("new connect[%s:%d],[time:%ld],pos[%d]",inet_ntoa(cin.sin_addr), ntohs(cin.sin_port), g_events[i].last_active, i);
  116.     return;
  117. }

  118. /*读取客户端发过来的数据的函数*/
  119. void recvdata(int fd, int events, void *arg)
  120. {
  121.     struct myevent_s *ev = (struct myevent_s *)arg;
  122.     int len;

  123.     len = recv(fd, ev->buf, sizeof(ev->buf), 0);    //读取客户端发过来的数据

  124.     eventdel(g_efd, ev);                            //将该节点从红黑树上摘除

  125.     if (len > 0)
  126.     {
  127.         ev->len = len;
  128.         ev->buf[len] = '\0';                        //手动添加字符串结束标记
  129.         printf("C[%d]:%s\n", fd, ev->buf);                  

  130.         eventset(ev, fd, senddata, ev);             //设置该fd对应的回调函数为senddata   
  131.         eventadd(g_efd, EPOLLOUT, ev);              //将fd加入红黑树g_efd中,监听其写事件   

  132.     }
  133.     else if (len == 0)
  134.     {
  135.         close(ev->fd);
  136.         /* ev-g_events 地址相减得到偏移元素位置 */
  137.         printf("[fd=%d] pos[%ld], closed\n", fd, ev-g_events);
  138.     }
  139.     else
  140.     {
  141.         close(ev->fd);
  142.         printf("recv[fd=%d] error[%d]:%s\n", fd, errno, strerror(errno));
  143.     }   
  144.     return;
  145. }

  146. /*发送给客户端数据*/
  147. void senddata(int fd, int events, void *arg)
  148. {
  149.     struct myevent_s *ev = (struct myevent_s *)arg;
  150.     int len;

  151.     len = send(fd, ev->buf, ev->len, 0);    //直接将数据回射给客户端

  152.     eventdel(g_efd, ev);                    //从红黑树g_efd中移除

  153.     if (len > 0)
  154.     {
  155.         printf("send[fd=%d], [%d]%s\n", fd, len, ev->buf);
  156.         eventset(ev, fd, recvdata, ev);     //将该fd的回调函数改为recvdata
  157.         eventadd(g_efd, EPOLLIN, ev);       //重新添加到红黑树上,设为监听读事件
  158.     }
  159.     else
  160.     {
  161.         close(ev->fd);                      //关闭链接
  162.         printf("send[fd=%d] error %s\n", fd, strerror(errno));
  163.     }
  164.     return ;
  165. }

  166. /*创建 socket, 初始化lfd */

  167. void initlistensocket(int efd, short port)
  168. {
  169.     struct sockaddr_in sin;

  170.     int lfd = socket(AF_INET, SOCK_STREAM, 0);
  171.     fcntl(lfd, F_SETFL, O_NONBLOCK);                //将socket设为非阻塞

  172.     memset(&sin, 0, sizeof(sin));               //bzero(&sin, sizeof(sin))
  173.     sin.sin_family = AF_INET;
  174.     sin.sin_addr.s_addr = INADDR_ANY;
  175.     sin.sin_port = htons(port);

  176.     bind(lfd, (struct sockaddr *)&sin, sizeof(sin));

  177.     listen(lfd, 20);

  178.     /* void eventset(struct myevent_s *ev, int fd, void (*call_back)(int, int, void *), void *arg);  */
  179.     eventset(&g_events[MAX_EVENTS], lfd, acceptconn, &g_events[MAX_EVENTS]);   

  180.     /* void eventadd(int efd, int events, struct myevent_s *ev) */
  181.     eventadd(efd, EPOLLIN, &g_events[MAX_EVENTS]);  //将lfd添加到监听树上,监听读事件

  182.     return;
  183. }

  184. int main()
  185. {
  186.     int port=SERV_PORT;

  187.     g_efd = epoll_create(MAX_EVENTS + 1); //创建红黑树,返回给全局 g_efd
  188.     if(g_efd <= 0)
  189.             printf("create efd in %s err %s\n", __func__, strerror(errno));

  190.     initlistensocket(g_efd, port); //初始化监听socket

  191.     struct epoll_event events[MAX_EVENTS + 1];  //定义这个结构体数组,用来接收epoll_wait传出的满足监听事件的fd结构体
  192.     printf("server running:port[%d]\n", port);

  193.     int checkpos = 0;
  194.     int i;
  195.     while(1)
  196.     {
  197.     /*    long now = time(NULL);
  198.         for(i=0; i < 100; i++, checkpos++)
  199.         {
  200.             if(checkpos == MAX_EVENTS);
  201.                 checkpos = 0;
  202.             if(g_events[checkpos].status != 1)
  203.                 continue;
  204.             long duration = now -g_events[checkpos].last_active;
  205.             if(duration >= 60)
  206.             {
  207.                 close(g_events[checkpos].fd);
  208.                 printf("[fd=%d] timeout\n", g_events[checkpos].fd);
  209.                 eventdel(g_efd, &g_events[checkpos]);
  210.             }
  211.         } */
  212.         //调用eppoll_wait等待接入的客户端事件,epoll_wait传出的是满足监听条件的那些fd的struct epoll_event类型
  213.         int nfd = epoll_wait(g_efd, events, MAX_EVENTS+1, 1000);
  214.         if (nfd < 0)
  215.         {
  216.             printf("epoll_wait error, exit\n");
  217.             exit(-1);
  218.         }
  219.         for(i = 0; i < nfd; i++)
  220.         {
  221.             //evtAdd()函数中,添加到监听树中监听事件的时候将myevents_t结构体类型给了ptr指针
  222.             //这里epoll_wait返回的时候,同样会返回对应fd的myevents_t类型的指针
  223.             struct myevent_s *ev = (struct myevent_s *)events[i].data.ptr;
  224.             //如果监听的是读事件,并返回的是读事件
  225.             if((events[i].events & EPOLLIN) &&(ev->events & EPOLLIN))
  226.             {
  227.                 ev->call_back(ev->fd, events[i].events, ev->arg);
  228.             }
  229.             //如果监听的是写事件,并返回的是写事件
  230.             if((events[i].events & EPOLLOUT) && (ev->events & EPOLLOUT))
  231.             {
  232.                 ev->call_back(ev->fd, events[i].events, ev->arg);
  233.             }
  234.         }
  235.     }
  236.     return 0;
  237. }


您需要登录后才可以回帖 登录 | 注册

本版积分规则

79

主题

564

帖子

1

粉丝
快速回复 返回顶部 返回列表