《C语言编写网络爬虫good》由会员分享，可在线阅读，更多相关《C语言编写网络爬虫good（2页珍藏版）》请在金锄头文库上搜索。
1、文档供参考，可复制、编制，期待您的好评与关注！ C语言编写网络爬虫#include #include #include #pragma comment(lib, ws2_32.lib) void geturl(char *url) WSADATA WSAData=0; SOCKET sockfd; struct sockaddr_in addr; struct hostent *pURL; char myurlBUFSIZ; char *pHost = 0, *pGET = 0; char hostBUFSIZ, GETBUFSIZ; char headerBUFSIZ = ; static
2、char textBUFSIZ; int i; /* * windows下使用socket必须用WSAStartup初始化，否则不能调用 */ if(WSAStartup(MAKEWORD(2,2), &WSAData) printf(WSA failedn); return; /* * 分离url中的主机地址和相对路径 */ strcpy(myurl, url); for (pHost = myurl; *pHost != / & *pHost != 0; +pHost); if ( (int)(pHost - myurl) = strlen(myurl) ) strcpy(GET, /);
3、 else strcpy(GET, pHost); *pHost = 0; strcpy(host, myurl); printf(%sn%sn, host, GET); /* * 设定socket参数,并未真正初始化 */ sockfd = socket(PF_INET, SOCK_STREAM, IPPROTO_TCP); pURL = gethostbyname(host); addr.sin_family = AF_INET; addr.sin_addr.s_addr = *(unsigned long*)pURL-h_addr); addr.sin_port = htons(80);
4、 /* * 组织发送到web服务器的信息 * 为何要发送下面的信息请参考HTTP协议的约定 */ strcat(header, GET ); strcat(header, GET); strcat(header, HTTP/1.1rn); strcat(header, HOST: ); strcat(header, host); strcat(header, rnConnection: Closernrn); /* * 连接到服务器，发送请求header，并接受反馈（即网页源代码） */ connect(sockfd,(SOCKADDR *)&addr,sizeof(addr); send(sockfd, header, strlen(header), 0); while ( recv(sockfd, text, BUFSIZ, 0) 0) printf(%s, text); strnset(text, 0, BUFSIZ); closesocket(sockfd); WSACleanup(); int main() char url256; printf(http:/); scanf(%s, url); geturl(url); return 0; /
