[转]epoll 的主动式连接代码。

Wed, 17 Oct 2012 03:22:00 +0000

大多数的epoll 代码例子是被动连接的。但是我的例子不一样。我是一个主动连接的代码。因为类似爬虫这样的程序是需要主动连接服务器的。现在我的代码很郁闷的地方是连接数上不去，只能保持在100左右。这是个非常低的值。我认为至少要在2000 以上才行。

代码编译正常，运行正常。也没有发现所谓的连接数变大的现象。但就是同时的连接数很少我这里只有140 左右。
而如果apache 服务器在本地的话可以达到400 左右，这样的话，我仍然认为偏少。我认为如果是局域网达到2000 应该没问题，可惜我这里上不去。上不去的原因第一 apache 服务器 accept 速度不够？我认为这不太可能，不少服务同时在线4000-5000人。那么同时连接数>>400 才差不多。第二是代码某个地方有瓶颈？我认为是的。但找不到。能给电建议吗？

要测试自己的服务器只需要把那段http request 改成自己的就可以了。修改一下也可以变为灌水机，但技术含量就太低了。

#include <pthread.h>

#include <sys/epoll.h>

#include <sys/types.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <netdb.h>
#include <unistd.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <errno.h>
#include <time.h>

#define maxevents 500
#define numthreads   1
#define max_thread 6000
#define MAXLINE   1024
#define max_connect 6000

void *work(void *arg);
void setnonblocking(int sock);
void do_use_fd(struct epoll_event   *events);

pthread_mutex_t lock_mutex = PTHREAD_MUTEX_INITIALIZER;

int lines   = 0;
int epollfd = 0;

int main(){

pthread_t pid_t[100];
  struct epoll_event ev, events[maxevents]={0};

int nfds   = 0;
  int n      = 0;
  int status = 0;
  int i      = 0;
  time_t a,b;
  time(&a);
  //lock_mutex = PTHREAD_MUTEX_INITIALIZER;

for ( i = 0 ; i < numthreads ; i++) {
  status = pthread_create(&pid_t[i], NULL, work, NULL);  // 起一个线称建立连接

if (0 == status) {
    printf(" pthread created \n");
  } else {
    perror(" pthread create fail\n");
    return 0;
  }

}
  epollfd  = epoll_create(maxevents);                   // 建立epoll

if (-1 == epollfd){
    perror("error cannot epoll_create\n");
    return 0;
  } else {
    printf("epollfd = %d  \n", epollfd);
  }

printf(" begin epoll_wait \n");

for (;;) {

//printf("befor epoll_wait %d \n", &(events[0]));
    nfds = epoll_wait(epollfd, events, maxevents, 500); // 开始抓回复
    //printf(" after  epoll_wait nfds = %d\n", nfds);
    if(nfds == -1){
      perror("nfds == -1 ");
      return 0;
    }else {
      //printf("nfds = %d \n", nfds);
    }

for(n = 0; n < nfds; ++n) {
      do_use_fd(&(events[n]));
    } // end for
  } // end for
  return 0;
}

void *work(void *arg){  // 这个就是工作线称主要发起连接

int i = 0 ;
  int create_conn = 1;
  struct sockaddr_in clientadd;
  int client;
  time_t a,b;

struct epoll_event ev;
  int len = 0;
  struct timeval timeo = {3, 10};
  pthread_detach(pthread_self());  // this

for (;;){

create_conn = 1;
    pthread_mutex_lock(&lock_mutex);
    if (lines > max_connect){
      create_conn = 0;
    }else {
    ++lines;
    printf(" now lines = %d \n", lines);
    }
    pthread_mutex_unlock(&lock_mutex);

if (0 == create_conn){
      sleep(1);
      continue;
    }

// else
    client = socket(AF_INET , SOCK_STREAM, 0);
    if (client < 0){
      sleep(1);
      continue;
    }

//printf("begin memset \n");
    memset(&clientadd, 0, sizeof(clientadd));
    len = sizeof(timeo);
    clientadd.sin_family = AF_INET;
    //clientadd.sin_addr.s_addr  =  inet_addr("61.172.203.140");
      clientadd.sin_addr.s_addr  =  inet_addr("192.168.1.100");
    clientadd.sin_port  = htons(80);
    setsockopt(client, SOL_SOCKET, SO_SNDTIMEO, &timeo, len);

//setnonblocking(client);

ev.events  =  EPOLLOUT  | EPOLLET |  EPOLLERR | EPOLLHUP | EPOLLPRI;
    ev.data.fd =  client;

printf("begin connect \n");

if (connect(client, (struct sockaddr*)&clientadd, sizeof(clientadd)) == -1){

printf(" connect failed\n");
     --lines;
    fprintf(stderr, "timeout\n");

close(client);
     continue;
    }
    time(&a);
    printf("%s ", ctime(&a));

setnonblocking(client);
    //printf("begin connect \n");

/*
    pthread_mutex_lock(&lock_mutex);
    ++lines;
    printf(" now lines = %d \n", lines);
    pthread_mutex_unlock(&lock_mutex);
    */
    //printf(" begin epoll_ctl \n");
    if (epoll_ctl(epollfd, EPOLL_CTL_ADD, client, &ev) < 0) {
      printf(" fd = %d ", client);
      perror("epoll set insertion error");
      return NULL;

} else {
      //printf(" add to %d epoll pool\n", epollfd);
    }

} // end for
}

void setnonblocking(int sock){
  int opts;
  opts=fcntl(sock,F_GETFL);
  if(opts<0)
  {
    perror("fcntl(sock,GETFL)");
    exit(1);
  }

opts = opts|O_NONBLOCK;
  if(fcntl(sock,F_SETFL,opts)<0)
  {
    perror("fcntl(sock,SETFL,opts)");
    exit(1);
  }
}

void do_use_fd(struct epoll_event   *events){

struct epoll_event ev;
  int n  =  0;

//http request command
  static char buff[5000] ="\x47\x45\x54\x20\x2F\x32\x2E\x70\x68\x70\x20\x48\x54\x54\x50\x2F\x31\x2E\x31\x0D\x0A\x41\x63\x63\x65\x70\x74\x3A\x20\x69\x6D\x61\x67\x65\x2F\x67\x69\x66\x2C\x20\x69\x6D\x61\x67\x65\x2F\x78\x2D\x78\x62\x69\x74\x6D\x61\x70\x2C\x20\x69\x6D\x61\x67\x65\x2F\x6A\x70\x65\x67\x2C\x20\x69\x6D\x61\x67\x65\x2F\x70\x6A\x70\x65\x67\x2C\x20\x61\x70\x70\x6C\x69\x63\x61\x74\x69\x6F\x6E\x2F\x78\x2D\x73\x68\x6F\x63\x6B\x77\x61\x76\x65\x2D\x66\x6C\x61\x73\x68\x2C\x20\x2A\x2F\x2A\x0D\x0A\x41\x63\x63\x65\x70\x74\x2D\x4C\x61\x6E\x67\x75\x61\x67\x65\x3A\x20\x7A\x68\x2D\x63\x6E\x0D\x0A\x41\x63\x63\x65\x70\x74\x2D\x45\x6E\x63\x6F\x64\x69\x6E\x67\x3A\x20\x67\x7A\x69\x70\x2C\x20\x64\x65\x66\x6C\x61\x74\x65\x0D\x0A\x55\x73\x65\x72\x2D\x41\x67\x65\x6E\x74\x3A\x20\x4D\x6F\x7A\x69\x6C\x6C\x61\x2F\x34\x2E\x30\x20\x28\x63\x6F\x6D\x70\x61\x74\x69\x62\x6C\x65\x3B\x20\x4D\x53\x49\x45\x20\x36\x2E\x30\x3B\x20\x57\x69\x6E\x64\x6F\x77\x73\x20\x4E\x54\x20\x35\x2E\x30\x3B\x20\x2E\x4E\x45\x54\x20\x43\x4C\x52\x20\x31\x2E\x31\x2E\x34\x33\x32\x32\x29\x0D\x0A\x48\x6F\x73\x74\x3A\x20\x31\x39\x32\x2E\x31\x36\x38\x2E\x31\x2E\x31\x30\x30\x0D\x0A\x43\x6F\x6E\x6E\x65\x63\x74\x69\x6F\x6E\x3A\x20\x4B\x65\x65\x70\x2D\x41\x6C\x69\x76\x65\x0D\x0A\x0D\x0A";
  char inbuff[MAXLINE] ={0};
  int client = events->data.fd;
  int closeit = 1;

//printf(" in do user fd \n");

if (events->events & EPOLLIN){ // 可以读了

if ( (client = events->data.fd) < 0) return;

while (1) {

if ( (n = read(client, inbuff, MAXLINE)) < 0) {

if (errno == ECONNRESET) {

//printf("readline error  errno == ECONNRESET\n");
          break;

} else {

printf("readline error no data %d\n", client);
          closeit = 0;
          break;
        }

} else if (n == 0) {
        //printf("readline == 0 \n");
        break;
      } else {
        //printf("i get %d byte form %d \n", n ,client);
      }
    } // end while (1)

if (1 == closeit) {
            //printf("close socket %d now \n", client);

ev.events = EPOLLIN | EPOLLET |  EPOLLERR | EPOLLHUP | EPOLLPRI;
      ev.data.fd = client;
      epoll_ctl(epollfd, EPOLL_CTL_DEL, client, &ev);
      close(client);
      pthread_mutex_lock(&lock_mutex);
      --lines;
      //printf(" now lines = %d \n", lines);
      pthread_mutex_unlock(&lock_mutex);
      return;
    }
  }  else if (events->events & EPOLLOUT) // end if

{
    if ( (client = events->data.fd) < 0) return;
    printf(" now write %d \n",events->data.fd);
    n = write(events->data.fd, buff, strlen(buff));

printf("%d  write = %d \n", lines, n);
    ev.events = EPOLLIN |EPOLLERR;
    ev.data.fd = client;
    epoll_ctl(epollfd, EPOLL_CTL_MOD, client, &ev);
    return;
  } else {
        ev.events = EPOLLIN |EPOLLERR;
        ev.data.fd = client;
        epoll_ctl(epollfd, EPOLL_CTL_DEL, client, &ev);
        close(client);
  }
}

原理是启动一个线称不断的建立连接，connect 用了阻塞的，我认为这里效率比较低。但如果是非阻塞的话，那么在select 同时再建立第二个连接是不是可以呢？能给点代码和意见吗？

如果这个模型稳定而成功，一个网页蜘蛛就有了个网络基础了。
root@192.168.98.128:/data0/htdocs/tmp# g++ epoll.cpp -o thread -lpthread

root@192.168.98.128:/data0/htdocs/tmp# ./thread
pthread created
now lines = 1
begin connect
epollfd = 3
begin epoll_wait
connect failed
timeout

EOF
以上来自：http://bbs.chinaunix.net/thread-950204-1-1.html

最后：
该代码在编译时出现问题的解决：
undefined reference to 'pthread_create'问题解决
由于是Linux新手，所以现在才开始接触线程编程，照着GUN/Linux编程指南中的一个例子输入编译，结果出现如下错误：
undefined reference to 'pthread_create'
undefined reference to 'pthread_join'

问题原因：
    pthread 库不是 Linux 系统默认的库，连接时需要使用静态库 libpthread.a，所以在使用pthread_create()创建线程，以及调用 pthread_atfork()函数建立fork处理程序时，需要链接该库。

问题解决：
    在编译中要加 -lpthread参数
    gcc thread.c -o thread -lpthread
    thread.c为你些的源文件，不要忘了加上头文件#include

[评论] [转]epoll 的主动式连接代码。

Thu, 01 Jan 1970 00:00:00 +0000

向东博客 专注WEB应用 构架之美 --- 构架之美，在于尽态极妍 | 应用之美，在于药到病除

[转]epoll 的主动式连接代码。

[评论] [转]epoll 的主动式连接代码。

向东博客专注WEB应用构架之美 --- 构架之美，在于尽态极妍 | 应用之美，在于药到病除