标签： 爬虫

编	写：袁	亮
时	间：2015-07-10
说	明：curl高阶应用，模拟用户表单提交数据

一、应用场景
	1、伪装用户登录，爬取需要登录才能访问的数据
	2、提交表单，进行一些操作，比如自动发帖等，刷刷投票什么的
	3、内部接口调用，模拟提交数据，作为参数
	
二、get传送
	没什么好说的，直接在链接后面拼起来就好了
	
三、post数据传送
	1、form表单提交数据，编码设置，直接参考w3cschool
		application/x-www-form-urlencoded	在发送前编码所有字符（默认）
		multipart/form-data	不对字符编码。在使用包含文件上传控件的表单时，必须使用该值。
		text/plain	空格转换为 "+" 加号，但不对特殊字符编码。
	2、一般的表单项
		2.1 采用的是第一编码方式
		2.2 代码使用：
			$data = array(
				'title'		=> '大家好，我是新人，请多多关照',
				'content'	=> '第一次来这边，发现好多东西好有帮助...',
			);
			curl_setopt($ch, CURLOPT_POST, true);
			curl_setopt($ch, CURLOPT_POSTFIELDS, $data);//Post提交的数据包   
	3、文件上传
		3.1 代码和上面一样
		3.2 文件地址使用@符合加载绝对路径之前即可，先绝对路径，否则很容易出错
		3.3 例如：
			$data = array(
				'title'		=> '大家好，我是新人，请多多关照',
				'content'	=> '第一次来这边，发现好多东西好有帮助...',
				'photo'		=> '@/opt/ci123/www/html/ciphot/demo.jpg',
			);
			curl_setopt($ch, CURLOPT_POST, true);
			curl_setopt($ch, CURLOPT_POSTFIELDS, $data);//Post提交的数据包
		3.4 还有个参数 CURLOPT_UPLOAD，没用过，有兴趣可以自己了解下
		
四、http basic验证
	1、有些项目或者网站，访问的时候加了http basic验证，直接抓取会失败
	2、知道账号密码的话，简单设置下即可
		curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC); 
		curl_setopt($ch, CURLOPT_USERPWD, "username:password"); 
	
五、错误信息显示
	1、在exec执行之后，如果出错，可以返回报错信息方便查看
		$img = curl_exec($ch);
		$err = curl_error($ch);
		if($err){
			return $err;
		}
	2、很少用，一般是在上传图片的时候，图片路径出错会出这个问题
	3、curl抓取不到，请注意是否能ping的通域名，能否正常访问那个文件，ping一下，或者wget下那个地址
	4、ipv6报错提示：curl: (6) Couldn't resolve host（域名能正常访问的话），设置使用ipv4的
		curl_setopt($ch, CURLOPT_IPRESOLVE, CURL_IPRESOLVE_V4) 
		
	

	

编	写：袁	亮
时	间：2015-07-09
说	明：curl请求伪造信息及其他小知识点

一、为什么需要伪造？
	在抓取的过程中，经常会出现被人屏蔽，不给抓了，这个时候，我们需要让自己尽量像是一个正常的用户去抓取相应数据
	
二、伪造哪些信息？
	1、useragent
		1.1 最初级的，所有浏览器、app都会带上自己的ua信息，如果没有，那就是直接告诉别人，我不是一个正常访问
		1.2 curl_setopt($ci, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:39.0) Gecko/20100101 Firefox/39.0');
		1.3 ua内容，可以使用firebug，查看网络中的请求头信息，复制下来即可，也可以准备多个，随机使用
	2、referer
		2.1 浏览器告知服务端，上一个请求的链接是什么；特别是在图片的抓取上，很多网站都会判断referer是不是自己的网站
		2.2 根据网址，自动伪造首页referer
			$urlinfo = parse_url($url);
			$host = $urlinfo["scheme"].'://'.$urlinfo['host'];
			curl_setopt ($ch, CURLOPT_REFERER, $host);
	3、cookie
		3.1 很多网站需要登录才能显示内容，这个时候，就需要伪造相应的登陆cookie，否则抓取不到内容
		3.2 主要两种办法：一个是在浏览器里登陆相应的账号，从firebug等，查看请求头里的cookie内容，复制下来
			第二种是使用账号密码，在curl中，模拟登陆，然后将cookie存到txt文件里，下次将cookie带上去抓取数据
		3.3 第一种比较快捷方便，特别是有验证码的网站，适合短时间抓取，但可能会因为cookie失效等原因出问题
			第二种，如果有验证码会很麻烦，但是优点在于只要账号密码不出问题，程序就很少出问题
		3.4 第一种代码：
			curl_setopt ($ch, CURLOPT_COOKIE, 'BAIDUID=7268C693B1F385AC297F677E90E092D4:FG=1;BIDUPSID=6093A44AECD856D0FFBD012FA16D99BA; PSTM=1436169100; BD_UPN=13314352;BDUSS=VRFdUMyRndUWmdkLUxrTW5-d0NjSVZocktDVHdublh1SFhqRTFHSlB3c2piTVJWQVFBQUFBJCQAAAAAAAAAAAEAAAD6lOAweXVhbmxpYW5nODQ3XzEAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAACPfnFUj35xVd;BD_HOME=1;H_PS_PSSID=11194_1442_14601_16148_13245_16035_10813_14429_10211_12868_16167_14667_16210_14954_15397_11465_13932_13612;BDRCVFR[feWj1Vr5u3D]=I67x6TjHwwYf0;BD_CK_SAM=1;__bsi=15490895447769138228_00_3_R_N_25_0303_C02F_N_I_I_0');
		3.5 第二种
			伪造登陆的请参考阶段三，form表单伪造，cookie保存和下次使用就下面两段代码，注意文件写权限问题
			curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie_file); //连接结束后保存cookie信息的文件。    
			curl_setopt($curl, CURLOPT_COOKIEFILE, $cookie_file);
	4、使用代理访问
		4.1 很多网站，都会对同一个ip的访问次数和频率做限制，这个时候可以使用代理来隐藏我们的ip
		4.2 代理有很多种，具体的参考其他文档，网上找的免费代理经常失效，不稳定，所以保持代理库的及时更新非常重要
		4.3 使用方法
			curl_setopt($curl, CURLOPT_PROXY, '代理ip:代理端口');
	5、伪造ip
		5.1 将自己作为代理的一层，伪造header中的x-forwared-for来达到
		5.2 关于ip的相关知识，可以搜索查看其他文档
		5.3 采用的伪造头信息来达到目标，上面的那些伪造也可以使用这个方法达成，只要对http头熟悉即可
			$header = array(
				'X-FORWARDED-FOR:202.103.229.40',
				'...'//其他需要伪造的，再加一行即可
			);
			curl_setopt ($ch, CURLOPT_HTTPHEADER , $header );  //构造IP
	
三、curl超时
	1、所有curl请求，必须设置超时时间，否则很容易导致进场堆积，将服务器拖垮
	2、超时有两个，一个是连接超时，一个是传输内容超时，都必须要设置
	3、设置代码：
		curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT , 2 );//连接时间
		curl_setopt ($ch, CURLOPT_TIMEOUT , 3 );//最长执行时间
	
四、跟踪链接跳转
	1、抓取的时候，会出现目标被header跳转
	2、跳转的代码在header中获取
		curl_setopt($ch,CURLOPT_HEADER,true);//将头信息输出，默认只输出http的body部分（非html的body）
		curl_setopt($ch,CURLOPT_NOBODY,true);//不输出body数据，如果确定有location跳转的话用，一般情况下不要设置
	3、设置代码：
		curl_setopt ($ch, CURLOPT_FOLLOWLOCATION , true );//跟随跳转
		curl_setopt ($ch, CURLOPT_MAXREDIRS , 2 );//跳转次数限制，防止死循环等