php file_get_contents数据采集与常用见问题解决
在批量的数据采集在php中很少会使用file_get_contents函数来操作,但是如果是小量的我们可以使用file_get_contents函数操作,因为它不但好用而且简单易学,下面我来介绍file_get_contents用法与使用过程中的问题解决办法。
先来看问题,file_get_contents不能获取带端口的网址,例如如下代码:
file_get_contents('http://localhost:12345');
没有任何获取,解决方法是:关闭selinux
1 永久方法 – 需要重启服务器
修改/etc/selinux/config文件中设置SELINUX=disabled ，然后重启服务器。
2 临时方法 – 设置系统参数
使用命令setenforce 0附：
setenforce 1 设置SELinux 成为enforcing模式
setenforce 0 设置SELinux 成为permissive模式
file_get_contents超时,代码如下:
function _file_get_contents( $url ) { $context = stream_context_create( array ( 'http' => array ( 'timeout' => 180 //超时时间，单位为秒 ) )); return @ file_get_contents ( $url , 0, $context ); }好了上面的问题得到解决之后我们可以开始采集了,代码如下:
<?php //全国，判断条件是$REQUEST_URI是否含有html if (! strpos ( $_SERVER [ "REQUEST_URI" ], ".html" )) { $page = "http://qq.ip138测试数据/weather/" ; $html = file_get_contents ( $page , 'r' ); $pattern = "/<B>全国主要城市、县当天和未来五天天气趋势预报在线查询</B>(.*?)<center style=" padding:3px ">/si" ; //正则匹配之间的html preg_match( $pattern , $html , $pg ); echo "" ; //正则替换远程地址为本地地址 $p =preg_replace( '//weather/(w+)/index.htm/' , 'tq.php/$1.html' , $pg [1]); echo $p ; } //省，判断条件是$REQUEST_URI是否含有？ else if (! strpos ( $_SERVER [ "REQUEST_URI" ], "?" )){ //yoyo推荐的使用分割获得数据，这里是获得省份名称 $province = explode ( "/" , $_SERVER [ "REQUEST_URI" ]); $province = explode ( "." , $province [ count ( $province )-1]); $province = $province [0]; //被注释掉的是我自己写出来的正则，感觉写的不好，但效果等同上面 //preg_match('/[^/]+[.(html)]$/',$_SERVER["REQUEST_URI"],$pro); //$province=preg_replace('/.html/','',$pro[0]); $page = "http://qq.ip138测试数据/weather/" . $province . "/index.htm" ; //获取html数据之前先尝试打开页面，防止恶意输入地址导致出错 if (!@ fopen ( $page , "r" )) { die ( "对不起，该地址不存在!<a href=javascript：history.back(1)>点击这里返回</a>" ); exit (0); } $html = file_get_contents ( $page , 'r' ); $pattern = "/五天天气趋势预报</B>(.*?)请输入输入市/si" ; preg_match( $pattern , $html , $pg ); echo "" ; //正则替换，获取省份，城市 $p =preg_replace( '//weather/(w+)/(w+).htm/' , '$2.html?pro=$1' , $pg [1]); echo $p ; } else { //市，通过get传递省份 $pro = $_REQUEST [ 'pro' ]; $city = explode ( "/" , $_SERVER [ "REQUEST_URI" ]); $city = explode ( "." , $city [ count ( $city )-1]); $city = $city [0]; //preg_match('/[^/]+[.(html)]+[?]/',$_SERVER["REQUEST_URI"],$cit); //$city=preg_replace('/.html?/','',$cit[0]); $page = "http://qq.ip138测试数据/weather/" . $pro . "/" . $city . ".htm" ; if (!@ fopen ( $page , "r" )) { die ( "对不起，该地址不存在!<a href=javascript：history.back(1)>点击这里返回</a>" ); exit (0); } $html = file_get_contents ( $page , 'r' ); $pattern = "/五天天气趋势预报</B>(.*?)请输入输入市/si" ; preg_match( $pattern , $html , $pg ); echo "" ; //获取真实的图片地址 $p =preg_replace( '//image//' , 'http://qq.ip138测试数据/image/' , $pg [1]); echo $p ; } ?>如果上面办法无法采集到数据我们可以使用以下代码来处理,代码如下:
<?php $url = "http://HdhCmsTestphpfensi测试数据" ; $ch = curl_init(); $timeout = 5; curl_setopt( $ch , CURLOPT_URL, $url ); curl_setopt( $ch , CURLOPT_RETURNTRANSFER, 1); curl_setopt( $ch , CURLOPT_CONNECTTIMEOUT, $timeout ); //在需要用户检测的网页里需要增加下面两行 //curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY); //curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD); $contents = curl_exec( $ch ); curl_close( $ch ); echo $contents ; ?>查看更多关于php file_get_contents数据采集与常用见问题解决 - p的详细内容...
声明：本文来自网络，不代表【好得很程序员自学网】立场，转载请注明出处：http://www.haodehen.cn/did30653