Php采集图片 | LsevenTT博客-站群哥
   

LsevenTT博客-站群哥

认真你就输了

PHP抓取网页图片

PHP抓取网页图片

 

 

<?php

set_time_limit(0);//抓取不受时间限制

if($_POST[‘Submit’]==”开始抓取”){

$URL=$_POST[‘link’];

get_pic($URL);

}

function get_pic($pic_url) {

//获取图片二进制流

$data=CurlGet($pic_url);

//利用正则表达式得到图片链接

$pattern_src1 = ‘/<img.*?src\=\”(.*\.jpg).*?>/’;//只匹配jpg格式的图片

$pattern_src2 = ‘/<img.*?src\=\”(.*\.bmp).*?>/’;//只匹配bmp格式的图片

$pattern_src3 = ‘/<img.*?src\=\”(.*\.png).*?>/’;//只匹配png格式的图片

$pattern_src4 = ‘/<img.*?src\=\”(.*\.gif).*?>/’;//只匹配gif格式的图片

$num1 = preg_match_all($pattern_src1, $data, $match_src1);

$num2 = preg_match_all($pattern_src2, $data, $match_src2);

$num3 = preg_match_all($pattern_src3, $data, $match_src3);

$num4 = preg_match_all($pattern_src4, $data, $match_src4);

$arr_src1=$match_src1[1];//获得图片数组

$arr_src2=$match_src2[1];

$arr_src3=$match_src3[1];

$arr_src4=$match_src4[1];

echo ‘=============================================抓取开始=============================================<br />’;

get_name1($arr_src1);

get_name1($arr_src2);

get_name1($arr_src3);

get_name1($arr_src4);

get_name2($arr_src1);

get_name2($arr_src2);

get_name2($arr_src3);

get_name2($arr_src4);

 

echo ‘=============================================抓取结束=============================================<br />’;

return 0;

}

 

function get_name1($pic_arr){

//图片编号和类型

$pattern_type = ‘/.*\/(.*?)$/’;

 

foreach($pic_arr as $pic_item){//循环取出每幅图的地址

$num = preg_match_all($pattern_type,$pic_item,$match_type);

//以流的形式保存图片

$write_fd = @fopen($match_type[1][0],”wb”);

echo “图片网址:<a href='”.$pic_item.”‘ target=’_blank’>”.$pic_item.”</a><br />”;

@fwrite($write_fd, CurlGet($pic_item));

@fclose($write_fd);

}

return 0;

}

function get_name2($pic_arr){

//图片编号和类型

$pattern_type = ‘/.*\/(.*?)$/’;

 

foreach($pic_arr as $pic_item){//循环取出每幅图的地址

$num = preg_match_all($pattern_type,$pic_item,$match_type);

//以流的形式保存图片

$write_fd = @fopen($match_type[1][0],”wb”);

echo “图片网址:<a href='”.$_POST[‘link’].$pic_item.”‘ target=’_blank’>”.$_POST[‘link’].$pic_item.”</a><br />”;

@fwrite($write_fd, CurlGet($_POST[‘link’].$pic_item));

@fclose($write_fd);

}

return 0;

}

//抓取网页内容

function CurlGet($url){

$url=str_replace(‘&amp;’,’&’,$url);

$curl = curl_init();

curl_setopt($curl, CURLOPT_URL, $url);

curl_setopt($curl, CURLOPT_HEADER, false);

 

//curl_setopt($curl, CURLOPT_REFERER,$url);

curl_setopt($curl, CURLOPT_USERAGENT, “Mozilla/4.0 (compatible; MSIE 6.0; SeaPort/1.2; Windows NT 5.1; SV1; InfoPath.2)”);

curl_setopt($curl, CURLOPT_COOKIEJAR, ‘cookie.txt’);

curl_setopt($curl, CURLOPT_COOKIEFILE, ‘cookie.txt’);

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 0);

$values = curl_exec($curl);

curl_close($curl);

return $values;

}

?>

<html>

<head>

<title>网页图片抓取</title>

</head>

<body>

<form action=”” method=”post”>

要抓取图片的网址:<input type=”text” id=”link” name=”link” value=”请在这里输入要抓取图片的网址” OnClick=”this.value=”” size=”100″ /><br />

<input type=”submit” id=”Submit” name=”Submit” value=”开始抓取” />

</form>

</body>

</html>

使用PHP实现采集远程图片功能

使用PHP实现采集远程图片功能

当我们需要采集网络上的某个网页内容时,如果目标网站上的图片做了防盗链的话,我们直接采集过来的图片在自己网站上是不可用的。那么我们使用程序将目标网站上的图片下载到我们网站服务器上,然后就可调用图片了。

本文将使用PHP实现采集远程图片功能。基本流程:

1、获取目标网站图片地址。

2、读取图片内容。

3、创建要保存图片的路径并命名图片名称。

4、写入图片内容。

5、完成。

我们通过写几个函数来实现这一过程。

函数make_dir()建立目录。判断要保存的图片文件目录是否存在,如果不存在则创建目录,并且将目录设置为可写权限。

function make_dir($path){
if(!file_exists($path)){//不存在则建立
[email protected]($path,0777); //权限
@chmod($path,0777);
}
return true;
}
函数read_filetext()取得图片内容。使用fopen打开图片文件,然后fread读取图片文件内容。

function read_filetext($filepath){
$filepath=trim($filepath);
[email protected]($filepath,”r”);
//远程
if(strstr($filepath,”://”)){
while([email protected]($htmlfp,500000)){
$string.=$data;
}
}
//本地
else{
[email protected]($htmlfp,@filesize($filepath));
}
@fclose($htmlfp);
return $string;
}
函数write_filetext()写文件,将图片内容fputs写入文件中,即保存图片文件。

function write_filetext($filepath,$string){
//$string=stripSlashes($string);
[email protected]($filepath,”w”);
@fputs($fp,$string);
@fclose($fp);
}
函数get_filename()获取图片名称,也可以自定义要保存的文件名。

function get_filename($filepath){
$fr=explode(“/”,$filepath);
$count=count($fr)-1;
return $fr[$count];
}
然后将几个函数组合,在函数save_pic()中调用,最后返回保存后的图片路径。

function save_pic($url,$savepath=”){
//处理地址
$url=trim($url);
$url=str_replace(” “,”%20”,$url);
//读文件
$string=read_filetext($url);
if(empty($string)){
echo ‘读取不了文件’;exit;
}
//文件名
$filename = get_filename($url);
//存放目录
make_dir($savepath); //建立存放目录
//文件地址
$filepath = $savepath.$filename;
//写文件
write_filetext($filepath,$string);
return $filepath;
}
最后一步就是调用save_pic()函数保存图片,我们使用以下代码做测试。

//目标图片地址
$pic = “http://img0.pconline.com.cn/pconline/1205/06/2776119_end1_thumb.jpg”;
//保存目录
$savepath = “images/”;
echo save_pic($pic,$savepath);
实际应用中,我们可能会采集某个站点的内容,比如产品信息,包括采集防盗链的图片保存到网站上服务器上。这时我们可以使用正则匹配页面内容,将页面中相匹配的图片都找出来,然后分别下载到网站服务器上,完成图片的采集。以下代码仅供测试:

function get_pic($cont,$path){
$pattern_src = ‘/< [img|IMG].*?src=[\'|\"](.*?(?:[\.gif|\.jpg]))[\'|\"].*?[\/]?>/’;
$num = preg_match_all($pattern_src, $cont, $match_src);
$pic_arr = $match_src[1]; //获得图片数组
foreach ($pic_arr as $pic_item) { //循环取出每幅图的地址
save_pic($pic_item,$path); //下载并保存图片
echo “[OK]..!”;
}
}
然后我们通过分析页面内容,将主体内容找出来,调用get_pic()实现图片的保存。

//我们采集太平洋电脑网上一篇关于手机报道内容页的图片
$url = “http://gz.pconline.com.cn/321/3215791.html”;

$content = file_get_contents($url);//获取网页内容
$preg = ‘#

(.*)

#iUs’;
preg_match_all($preg, $content, $arr);
$cont = $arr[1][0];
get_pic($cont,’img/’);
以上代码笔者亲测,可以采集图片,但是还有些场景没考虑进去,比如目标网站做了302多次跳转的,目标网站做了多种防采集的,留给喜欢折腾的同学去试试吧。