《Linux软件下载源码编程文章资料》由会员分享，可在线阅读，更多相关《Linux软件下载源码编程文章资料（21页珍藏版）》请在金锄头文库上搜索。
1、用 C 语言编写一个网络蜘蛛来搜索网上出现的电子邮件地址关键词： C编程 网络蜘蛛 网络蠕虫 HTTP Linux 可能大家经常要去互联网上搜索特定的内容，比如收集大量邮件地址，如果用 google 之类的搜索引擎是没法实现这种特定功能的，所以用 C 语言来写一个吧。它的功能就是不断去取得网络上的页面，然后分析出网页上出现的邮件地址保存下来。象个蜘蛛一样，从网络上一个网页爬向另一个网页，不停止 地搜索邮件地址。当然这只是一个原理展示程序，并没有进行优化。这个程序的 main 函数流程图如下：http:/ 用 C 语言编写一个网络蜘蛛来搜索网上出现的电子邮件地址*purpose: 一个邮址搜索程
2、序的雏形*wrote by: zhoulifa() 周立发(http:/)Linux爱好者 Linux知识传播者 SOHO族 开发者 最擅长C语言*date time:2006-08-31 21:00:00*Note: 任何人可以任意复制代码并运用这些文档，当然包括你的商业用途* 但请遵循GPL*Hope:希望越来越多的人贡献自己的力量，为科学技术发展出力*/程序在运行的过程中要建立一个树形链表结构，结构图如下：http:/ #include #include #include #include #include #include #include #include #include #inc
3、lude #define USERAGENT Wget/1.10.2#define ACCEPT */*#define ACCEPTLANGUAGE zh-cn,zh;q=0.5#define ACCEPTENCODING gzip,deflate#define ACCEPTCHARSET gb2312,utf-8;q=0.7,*;q=0.7#define KEEPALIVE 300#define CONNECTION keep-alive#define CONTENTTYPE application/x-www-form-urlencoded#define MAXFILENAME 14#de
4、fine DEBUG 1typedef struct webnode char * host; /* 网页所在的主机 */int port; /* 网络服务器所使用的端口 */char * dir; /* 网页所在的目录 */char * page; /* 网页文件名 */char * file; /* 本地保存的文件名 */char IsHandled; /* 是否处理过 */struct webnode * brother; /* 兄弟节点链表指针 */struct webnode * child; /* 子节点链表指针 */ WEBNODE;struct sockaddr_in serv
5、er_addr;int sockfd = 0, dsend = 0, totalsend = 0, nbytes = 0, reqn = 0, i = 0, j = 0, ret = 0;struct hostent *host;char request409600 = , buffer1024 = , httpheader1024 = ;int FileNumber = 0;char e2 = /;WEBNODE * NodeHeader, * NodeTail, * NodeCurr;char * mapped_mem;int GetHost(char * , char * , char
6、* , int * , char * ); /*/void AnalyzePage(WEBNODE *); /*/void AddInitNode(char *, char *, int, char * ); /*/void HandleInitNode(WEBNODE *); /*/void DisplayNode(WEBNODE *); /*/void HandOneNode(WEBNODE *); /*/void DoneWithList(int); /*/void DoOnce(); /*/void ConnectWeb(void); /*/void SendRequest(void)
7、; /*/void ReceiveResponse(void); /*/void GetEmail(char * ); /*/void GetLink(char * ); /*/void GetBeforePos(char * , char * ); /*/void GetAfterPos(char * , char * ); /*/void AddChildNode(WEBNODE * , char * ); /*/void GetAfterPosWithSlash(char * , char * ); /*/void GetMemory(char * , int ); /*/int IsE
8、xistWeb(WEBNODE * , char * , char * , int , char * ); /*/void Rstrchr(char * , int , char * ); /*/int GetLocalAgent(char * UserAgent, char * Accept, char * AcceptLanguage, char * AcceptEncoding, char * AcceptCharset, char * KeepAlive, char * Connection, char * ContentType); /*/*功能：设置 HTTP 协议头内容的一些固定
9、值*/int GetLocalAgent(char * UserAgent, char * Accept, char * AcceptLanguage, char * AcceptEncoding, char * AcceptCharset, char * KeepAlive, char * Connection, char * ContentType)memcpy(UserAgent, USERAGENT, strlen(USERAGENT);memcpy(Accept, ACCEPT, strlen(ACCEPT);memcpy(AcceptLanguage, ACCEPTLANGUAGE
10、, strlen(ACCEPTLANGUAGE);memcpy(AcceptEncoding, ACCEPTENCODING, strlen(ACCEPTENCODING);memcpy(AcceptCharset, ACCEPTCHARSET, strlen(ACCEPTCHARSET);memcpy(KeepAlive, KEEPALIVE, strlen(KEEPALIVE);memcpy(Connection, CONNECTION, strlen(CONNECTION);memcpy(ContentType, CONTENTTYPE, strlen(CONTENTTYPE);retu
11、rn 0;/*功能：在字符串 s 里搜索 x 字符，并设置指针 d 指向该位置*/void Rstrchr(char * s, int x, char * d)int len = strlen(s) - 1;while(len = 0) if(x = slen) (*d) = s + len; return;len-;(*d) = 0;/*功能：连接一个网站服务器*/void ConnectWeb(void) /* connect to web server */* create a socket descriptor */if(sockfd=socket(PF_INET,SOCK_STREAM,0)=-1)fprintf(stderr,tSocket Error:%san,strerror(errno);exit(1);/* bind address */bzero(&server_addr, sizeof(server_addr);server_addr.sin_family = AF_INET;server_addr.sin_port = htons(NodeCurr-port);server_addr.sin_addr = *(st
