当前位置：首页> PHP教程> PHP精通
关键字：
文章内容
采集的实现
 
 
修改时间：[2012/07/03 10:34]    阅读次数：[1360]    发表者：[起缘]
 

一般是本机运行，放到空间上是不明智的，因为不但很耗资源还需要支持远程抓取函数，比如file_get_contents($urls)file（＄url)等．
１，文章列表页面的自动切换，以及文章路径的获得．
２，获得：标题，内容
３，入库
４，问题
１，文章列表页面的自动切换，以及文章路径的获得．
a，列表页面的自动切换一般依赖动态页面来实现．比如

<? 
//2004-11-22 
//$e=clinchgeturl("[url]im286.com/forumdisplay.php?fid=1");[/url] 
//var_dump($e); 
function clinchgeturl($url) 
{ 
    //$url="[url]127.0.0.1/1.htm";[/url] 
    //$rootpath="[url]fsrootpathfsfsf/yyyyyy/";[/url] 
    //var_dump($rrr); 
    if(eregi('(.)*[\.](.)*', $url)) 
    { 
        $roopath = split("\/", $url); 
        $rootpath = "[url]"[/url].$roopath[2]."/"; 
        $nnn = count($roopath) - 1; 
        for($yu = 3; $yu < $nnn; $yu++) 
        { 
            $rootpath. = $roopath[$yu]."/"; 
        } 
        // var_dump($rootpath); //http: ,'',127.0.0.1,xnml,index.php 
    } 
    else
    { 
        $rootpath = $url; //var_dump($rootpath); 
    } 
    if(isset($url)) 
    { 
        echo "$url 有下列裢接：<br>"; 
        $fcontents = file($url); 
        while(list(, $line) = each($fcontents)) 
        { 
            while(eregi('(href[[:space:]]*=[[:space:]]*"?[[:alnum:]:@/._-]+[\?]?[^\"]*"?)', $line, $regs)) 
            { 
                //$regs[1] = eregi_replace('(href[[:space:]]*=[[:space:]]*\"?)([[:alnum:]:@/._-]+)(\"?)',"\\2",$regs[1]); 
                $regs[1] = eregi_replace('(href[[:space:]]*=[[:space:]]*[\"]?)([[:alnum:]:@/._-]+[\?]?[^\"]*)(\.*)[^\"\/]*([\"]?)', "\\2", $regs[1]); 
                if(!eregi('^http:\/\/', $regs[1])) 
                { 
                    f(eregi('^\.\.', $regs[1])) 
                    { 
                        //$roopath=eregi_replace('(http:\/\/)?([[:alnum:]:@/._-]+)[[:alnum:]+](\.*)[[:alnum:]+]',"http:\/\/\\2",$url); 
   
                        $roopath = split("\/", $rootpath); 
                        $rootpath = "[url]"">http://www.im286.com/foru[/url] ... d=1&page=$i 
...... 
?>

可以在后面利用$i的自动增加或范围来实现，比如$i++;
也可以像penzi演示的那个一样，要从第几页到第几页，代码方面控制$i的范围就可以．
b，文章路径的获得分需要填正则和无需填正则２种：
１）无需填正则就是获得上面的文章列表页面的所有连接
　　但是最好对连接进行过滤，处理－－－判断重复连接，只留一个，处理相对路径，变成绝对路径．比如．．/ 和./等．
以下是我写的乱七八糟的实现函数：
PHP:
--------------------------------------------------------------------------------

<? 
//2004-11-22 clinch 
//$e=clinchgeturl("[url]test.com/forumdisplay.php?fid=1");[/url] 
//var_dump($e); 
function clinchgeturl($url) 
{ 
    //$url="[url]127.0.0.1/1.htm";[/url] 
    //$rootpath="[url]fsrootpathfsfsf/yyyyyy/";[/url] 
    //var_dump($rrr); 
    if(eregi('(.)*[\.](.)*', $url)) 
    { 
        $roopath = split("\/", $url); 
        $rootpath = "[url]"[/url].$roopath[2]."/"; 
        $nnn = count($roopath) - 1; 
        for($yu = 3; $yu < $nnn; $yu++) 
        { 
            $rootpath. = $roopath[$yu]."/"; 
        } 
        // var_dump($rootpath); //http: ,'',127.0.0.1,xnml,index.php 
    } 
    else
    { 
        $rootpath = $url; //var_dump($rootpath); 
    } 
    if(isset($url)) 
    { 
        echo "$url 有下列裢接：<br>"; 
        $fcontents = file($url); 
        while(list(, $line) = each($fcontents)) 
        { 
            while(eregi('(href[[:space:]]*=[[:space:]]*"?[[:alnum:]:@/._-]+[\?]?[^\"]*"?)', $line, $regs)) 
            { 
                //$regs[1] = eregi_replace('(href[[:space:]]*=[[:space:]]*\"?)([[:alnum:]:@/._-]+)(\"?)',"\\2",$regs[1]); 
                $regs[1] = eregi_replace('(href[[:space:]]*=[[:space:]]*[\"]?)([[:alnum:]:@/._-]+[\?]?[^\"]*)(\.*)[^\"\/]*([\"]?)', "\\2", $regs[1]); 
                if(!eregi('^http:\/\/', $regs[1])) 
                { 
                    f(eregi('^\.\.', $regs[1])) 
                    { 
                        //$roopath=eregi_replace('(http:\/\/)?([[:alnum:]:@/._-]+)[[:alnum:]+](\.*)[[:alnum:]+]',"http:\/\/\\2",$url); 
   
                        $roopath = split("\/", $rootpath); 
                        $rootpath = "[url]".$roopath[2]."/"; 
                        //echo "这是根本d ："."\n"; 
                        $nnn = count($roopath) - 1; 
                        for($yu = 3; $yu < $nnn; $yu++) 
                        { 
                            $rootpath. = $roopath[$yu]."/"; 
                        } 
                        //var_dump($rootpath); 
                        f(eregi('^\.\.[\/[:alnum:]]', $regs[1])) 
                        { 
                            //echo "这是../目录/ ："."\n"; 
                            //$regs[1]="../xx/xxxxxx.xx"; 
                            // $rr=split("\/",$regs[1]); 
                            //for($oooi=1;$oooi<count($rr);$oooi++) 
                            $rrr = $regs[1]; 
                            //{$rrr.="/".$rr[$oooi]; 
                            $rrr = eregi_replace("^[\.][\.][\/]", '', $rrr); //} 
                            $regs[1] = $rootpath.$rrr; 
                        } 
   
                    } 
                    else
                    { 
                        if(eregi('^[[:alnum:]]', $regs[1])) 
                        { 
                            $regs[1] = $rootpath.$regs[1]; 
                        } 
   
                        else
                        { 
                            $regs[1] = eregi_replace("^[\/]", '', $regs[1]); 
                            $regs[1] = $rootpath.$regs[1]; 
                        } 
   
                    } 
   
   
                } 
   
                $line = $regs[2]; 
                if(eregi('(.)*[\.](htm|shtm|html|asp|aspx|php|jsp|cgi)(.)*', $regs[1])) 
                { 
                    $out[0][] = $regs[1]; 
                } 
            } 
        } 
    } 
    for ($ouou = 0; $ouou < count($out[0]); $ouou++) 
    { 
        if($out[0][$ouou] == $out[0][$ouou+1]) 
        { 
            $sameurlsum = 1; 
            //echo "sameurlsum=1:"; 
            for($sameurl = 1; $sameurl < count($out[0]); $sameurl++) 
            { 
                if($out[0][$ouou+$sameurl] == $out[0][$ouou+$sameurl+1]) 
                { 
                    $sameurlsum++; 
                } 
                else
                { 
                    break; 
                } 
            } 
   
            for($p = $ouou; $p < count($out[0]); $p++) 
            { 
                $out[0][$p] = $out[0][$p+$sameurlsum]; 
            } 
        } 
    } 
    $i = 0; 
    while($out[0][++$i]) 
    { 
        //echo $root.$out[0][$i]."\r\n"; 
        $outed[0][$i] = $out[0][$i]; 
    } 
    unset($out); 
    $out = $outed; 
    return $out; 
} 
? >

上面的东西只能zend，不然有碍市容：（
得到所有唯一的连接后，放到数组
２）需要填正则的处理
如果要准确地获得需要的文章连接，就用这个办法
按照ketle的思路
用
PHP:
--------------------------------------------------------------------------------

<? php 
function cut($file, $from, $end) 
{ 
    $message = explode($from, $file); 
    $message = explode($end, $message[1]); 
    return $message[0]; 
} 
? >

$from是列表前面的html代码
$end是列表后面的html代码
以上可以通过表单提交参数．
对列表页面不是列表的部分去除，剩下的是需要的连接，
只要再通过下面正则得到：
PHP:
--------------------------------------------------------------------------------

<? php 
function getUrl($matches) 
{ 
    preg_match("/^(http:\/\/)?(.*)/i", $url, $matches); 
    return $matches[2]; 
} 
? >

２，获得：标题，内容
a首先，利用得到的文章路径，读取目标路径
可以通过以下函数：
PHP:
--------------------------------------------------------------------------------

<? php 
function getcontent($url) 
{ 
    f($handle = fopen ($url, "rb")) 
    { 
        $contents = ""; 
        do
        { 
            $data = fread($handle, 2048); 
            f (strlen($data) == 0) 
            { 
                reak; 
            } 
            $contents . = $data; 
        } 
        while(true); 
        fclose ($handle); 
    } 
    else
        exit("........"); 
    return $contents; 
} 
? >

或者直接
PHP:
--------------------------------------------------------------------------------
file_get_contents($urls);
后者比较方便，但是缺点对比上面的就知道．
b,接下来得到标题：
一般用这个实现：
PHP:
--------------------------------------------------------------------------------

preg_match("|<TITLE>(.*)</TITLE>|",$allcontent,$title);

里面的<TITLE>(.*)</TITLE>部分通过提交表单得到.
也可以通过一系列的cut函数
比如上面提过的function cut($file,$from,$end)，具体的字符串切割可以通过字符处理函数切割实现，后面＂取得内容＂详细讲．
c,取得内容
取得内容方面和取得标题思路一样但情况比较复杂，因为内容附近不会是＜title>＜/title>这么简单．
１）内容附近的特征字符串有双引号,空格,换行符号等是大障碍
双引号需要变成　\" 　可以通过addslashes（）处理
换行符号要去掉　可以通过
PHP:
--------------------------------------------------------------------------------

$a=ereg_replace("\n", '', $a); 
$a=ereg_replace("\r", '', $a);

去掉回车换行
２）思路２，用一大堆切割相关的函数对内容提取，需要大量的实践，调试，我正在弄这里，没有获得什么突破
３，入库
a,切保你的数据库可以插入
比如我的可以这样直接插入：
PHP:
--------------------------------------------------------------------------------

$sql="INSERT INTO ＄articles VALUES ('', '$title', '', '$article','', '', 'clinch', 'from', '关键词', 1, '$栏目id', '$time', 1);\r\n\r\n";

其中
PHP:
--------------------------------------------------------------------------------
'',是自动升序的文章id，要确定升序的字段只有一个，比如pa是标题一个表，一个索引，内容一个表一个索引，两表的自动升序的字段要实时判断的，要插入比较麻烦，被认为＂不可插＂
b,sql文本导出
我的思路是：
在函数里return
PHP:
--------------------------------------------------------------------------------

$sql = "INSERT INTO article_articles VALUES ('', '$title', '', '$body','', '', 'clinch', 'sohu', 'php', 1, '#clinchall#', '$time', 1);

然后不断积累查询语句内容，最后
PHP:
--------------------------------------------------------------------------------

$fname="what_"."_page".$i.".sql"; 
$fp = fopen("data/$f", 'w'); 
if(fputs($fp, $sql)) 
echo "file successfully write"; 
fclose($fp);

根据前面的思路，非常不错
PHP:
--------------------------------------------------------------------------------

if(!empty($r_article) AND !empty($r_title)) 
{ 
    $time = time(); 
    $r_title = addslashes(trim($r_title)); 
    $r_article = addslashes($r_article); 
   
    $get_sql = "INSERT INTO article_articles VALUES ('', '$r_title', '', '$r_article','', '', '', 'sohu', '', 1, '', '$time', 1);\r\n\r\n"; 
    if(file_exists("xingfu_".$_SESSION['p'].".sql")) 
    { 
        if(filesize("xingfu_".$_SESSION['p'].".sql") > $mysize) 
        { 
            $_SESSION['p']++; 
        } 
    } 
    $fp = fopen("xingfu_".$_SESSION['p'].".sql", 'a'); 
    fwrite($fp, $get_sql); 
    fclose($fp); 
}

先判断是否得到标题和内容，然后生成sql语句放到文本中，还可以判断大小分页生成．
c.直接入库（入mysql）
找个db_mysql类后
直接
PHP:
--------------------------------------------------------------------------------

$DB->query("INSERT INTO `xxx` ( `xx` , `title` , `texts` , `sortid` ) VALUES ('', '".addslashes($title)."', '".addslashes($text)."', '".$mm."')");

４，问题
a,其实采集大多需要具体问题具体分析，想做通用的很难．
换句话说，要做到让不懂正则的人随便采集，那可需要高手的后台实现．
b,最大问题是内容切割部分，因为html代码具体情况很复杂，需要调试多次．希望有人做出个类来．
c，当切不到时处理不好会中断，注意容错．用SESSION控制可以避免很多麻烦．当　timeout的时候，刷新下就ok了．延长脚本运行时间可以＠set_time_limit(０)