一站式源码购物平台:全方位PHP采集程序资源精选
万能网页抓取平台php代码
php抓取网页源代码的技巧有哪些
可以借鉴以下几种途径:
方法一:运用file_get_contents抓取
spanstyle="white-space:pre"?/span$url="";
spanstyle="white-space:pre"?/span$fh=file_get_contents
('');spanstyle="white-space:pre"?/spanecho$fh;
方法二:通过fopen抓取网页源代码
spanstyle="white-space:pre"?/span$url="";
spanstyle="white-space:pre"?/span$handle=fopen($url,"rb");
spanstyle="white-space:pre"?/span$contents="";
spanstyle="white-space:pre"?/spanwhile(!feof($handle)){
spanstyle="white-space:pre"/span$contents.=fread($handle,8192);
spanstyle="white-space:pre"?/span}
spanstyle="white-space:pre"?/spanfclose($handle);
spanstyle="white-space:pre"?/spanecho$contents;//输出获取到的内容。
方法三:利用CURL抓取网页源代码
$url="";
$UserAgent='Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0;SLCC1;.NETCLR2.0.50727;.NETCLR3.0.04506;.NETCLR3.5.21022;.NETCLR1.0.3705;.NETCLR1.1.4322)';
$curl=curl_init();?//创建一个新的CURL资源
curl_setopt($curl,CURLOPT_URL,$url);?//设置URL和相应的选项
curl_setopt($curl,CURLOPT_HEADER,0);?//0表示不输出Header,1表示输出
curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);?//设定是否显示头信息,1显示,0不显示。//如果成功只将结果返回,不自动输出任何内容。如果失败返回FALSE
curl_setopt($curl,CURLOPT_SSL_VERIFYPEER,false);
curl_setopt($curl,CURLOPT_SSL_VERIFYHOST,false);
curl_setopt($curl,CURLOPT_ENCODING,'');?//设置编码格式,为空表示支持所有格式的编码
//header中“Accept-Encoding:”部分的内容,支持的编码格式为:"identity","deflate","gzip"。
curl_setopt($curl,CURLOPT_USERAGENT,$UserAgent);
curl_setopt($curl,CURLOPT_FOLLOWLOCATION,1);
//设置这个选项为一个非零值(象“Location:“)的头,服务器会把它当做HTTP头的一部分发送(注意这是递归的,PHP将发送形如“Location:“的头)。
$data=curl_exec($curl);
echo$data;
//echocurl_errno($curl);//返回0时表示程序执行成功
curl_close($curl);?//关闭CURL资源,并释放系统资源
扩展信息
PHP(外文名:PHP:HypertextPreprocessor,中文名:“超文本预处理器”)是一种通用开源脚本语言。其语法融合了C语言、Java和Perl的特点,易于学习,应用广泛,主要用于Web开发。PHP独特的语法结合了C、Java、Perl以及PHP自创的语法。它能够比CGI或Perl更快速地执行动态网页。
用PHP制作的动态网页与其他编程语言相比,PHP是将程序嵌入到HTML文档中去执行,执行效率比完全生成HTML标记的CGI要高很多;PHP还可以执行编译后的代码,编译可以达到加密和优化代码运行,使代码执行更快。
参考资料:PHP(超文本预处理器)-百度百科
寻求带登录功能的网站抓取php代码或思路
获取链接数据后,增加判断:若需登录,则使用php的curl函数进行模拟post;若不需登录,则直接采集。
高分!求高手网站数据抓取源代码或编程策略
思路:
RSS抓取
相似算法
聚类
分类
(一)原理
盗版程序实际上是通过XML中的XMLHTTP组件调用其他网站上的网页。例如新闻盗版程序,许多都是调用了sina的新闻网页,并对其中的html进行了某些替换,同时过滤了广告。盗版程序的优点有:无需维护网站,因为盗版程序中的数据来自其他网站,它会随着该网站的更新而更新;可以节省服务器资源,一般盗版程序只有几个文件,所有网页内容都来自其他网站。缺点有:不稳定,如果目标网站出错,程序也会出错,而且,如果目标网站进行升级维护,那么盗版程序也要进行相应修改;速度,因为是远程调用,速度和在本地服务器上读取数据相比,肯定会慢一些。
(二)实例
以下是代码片段:
下面就XMLHTTP在ASP中的应用做个简单说明
〈%
’常用函数
’1、输入url目标网页地址,返回值getHTTPPage是目标网页的html代码
functiongetHTTPPage(url)
dimHttp
setHttp=server.createobject("MSXML2.XMLHTTP")
Http.open"GET",url,false
Http.send()
ifHttp.readystate〈〉4then
exitfunction
endif
getHTTPPage=bytesToBSTR(Http.responseBody,"GB2312")
sethttp=nothing
iferr.number〈〉0thenerr.Clear
endfunction
’2、转换乱码,直接用xmlhttp调用有中文字符的网页得到的将是乱码,可以通过adodb.stream组件进行转换
FunctionBytesToBstr(body,Cset)
dimobjstream
setobjstream=Server.CreateObject("adodb.stream")
objstream.Type=1
objstream.Mode=3
objstream.Open
objstream.Writebody
objstream.Position=0
objstream.Type=2
objstream.Charset=Cset
BytesToBstr=objstream.ReadText
objstream.Close
setobjstream=nothing
EndFunction
’下面试着调用的html内容
DimUrl,Html
Url=""
Html=getHTTPPage(Url)
Response.writeHtml
%〉ASP盗版入门教程.....附QQ天气盗版源代码
成为一名优秀的盗版者有一定难度:P,灵活运用XMLHTTP组件,你也可以成为“盗版者”。
成为一名优秀的小偷颇具挑战性:P,巧妙运用XMLHTTP组件,你也能成为“盗贼”
此处所说的“盗贼”是指在ASP中利用XML中的XMLHTTP组件所提供的强大功能,将远程网站上的数据(图片、网页及其他文件)窃取至本地,经过一系列处理后展示在页面上或存储到数据库中的一类程序。通过这种盗贼程序,你可以完成一些看似不可能的任务,例如将某个网站的页面篡改后变成自己的页面,或者将某个网站的一些数据(文章、图片)保存到本地数据库中加以利用。“盗贼”的优点包括:无需维护网站,因为盗贼程序中的数据来源于其他网站,它会随着该网站的更新而更新;可以节省大量的服务器资源,一般盗贼程序仅有几个文件,所有网页内容均来自其他网站。缺点在于:不稳定,如果目标网站出现故障,程序也会出错,而且,如果目标网站进行升级维护,那么盗贼程序也需要进行相应修改;速度,因为是远程调用,速度与在本地服务器上读取数据相比,肯定会慢一些。听起来很神奇吧?现在我们就开始学习一些“盗贼”程序的入门知识吧!
我们以一个简单的事物为例进行研究,QQ网站上的天气预报程序
程序演示地址:
源码下载:
代码如下:
以下是代码片段:
〈%
OnErrorResumeNext
Server.ScriptTimeOut=9999999
FunctiongetHTTPPage(Path)
t=GetBody(Path)
getHTTPPage=BytesToBstr(t,"GB2312")
Endfunction'首先,进行盗贼程序的一些初始化设置,以上代码的作用分别是忽略掉所有非致命性错误,把盗贼程序的运行超时时间设置得很长(这样不会出现运行超时的错误),转换原来默认的UTF-8编码转换成GB2312编码,否则直接用XMLHTTP组件调用含有中文字符的网页得到的将是乱码。
以下是代码片段:
FunctionGetBody(url)
onerrorresumenext
SetRetrieval=CreateObject("Microsoft.XMLHTTP")
WithRetrieval
.Open"Get",url,False,"",""
.Send
GetBody=.ResponseBody
EndWith
SetRetrieval=Nothing
EndFunction
’然后调用XMLHTTP组件创建一个对象并进行初始化设置。
FunctionBytesToBstr(body,Cset)
dimobjstream
setobjstream=Server.CreateObject("adodb.stream")
objstream.Type=1
objstream.Mode=3
objstream.Open
objstream.Writebody
objstream.Position=0
objstream.Type=2
objstream.Charset=Cset
BytesToBstr=objstream.ReadText
objstream.Close
setobjstream=nothing
EndFunction
FunctionNewstring(wstr,strng)
Newstring=Instr(lcase(wstr),lcase(strng))
ifNewstring〈=0thenNewstring=Len(wstr)
EndFunction
’处理抓取回来的数据需要调用adodb.stream组件并进行初始化设置。%〉
’以下即为页面显示部分
〈%
Dimwstr,str,url,start,over,city
’定义一些需要使用到的变量
city=Request.QueryString("id")
’程序传回的ID变量(即用户选择的城市)赋给id
url=""city""
’这里设置需要抓取的页面地址,当然你也可以直接指定某个地址而不使用变量
wstr=getHTTPPage(url)'以下是代码片段:
获取指定页面的全部数据
start=Newstring(wstr,"")
’这里设置需要处理的数据的头部,这个变量应视不同情况而设置,具体内容可以通过查看需要抓取的页面的源代码来确定。因为在这个程序里我们需要抓取整个页面,所以设置为页面全部抓取。注意,设置的内容必须是页面内容唯一的,不可以重复。
over=Newstring(wstr,"")
’和start相对应的就是需要处理的数据的尾部,同样的,设置的内容必须是页面中唯一的。
body=mid(wstr,start,over-start)
’设置显示页面的范围
’下面就是动用移花接木大法的时候了,通过replace可以用一些字符替换掉数据中指定的字符。
body=replace(body,"skin1","天气预报")
body=replace(body,"","tianqi.asp?id")
’本程序中已经完成了替换的工作,如果有其他需要的话可以继续进行类似的替换操作。
response.writebody
%〉替换完需要修改的内容后,就可以把修改的内容显示在页面上了。至此程序结束
程序使用方法及结果:将上述代码去掉说明部分后保存为tianqi.asp,上传到支持ASP和XML的空间下,在浏览器中运行即可。你可以在这个程序的基础上进行进一步的界面美化或者程序优化。
以上只是一些关于XMLHTTP组件的初级应用,实际上它还能实现的功能还有很多,比如说保存远程图片到本地服务器上,配合adodb.stream组件可以把获取来的数据保存进数据库。盗贼的作用和使用范围都很广。但是不可以拿来做违法的事哦!
或许还有人会问,这种“盗贼”程序难道只是ASP的专利吗?非也,PHP通过fopen函数同样可以实现同样的效果,由于PHP本身的各种特点,编写出来的盗贼程序与ASP相比,在体积和执行效率上都有着明显的优势,但限于篇幅,这里就不一一说明了。
谁也免费的PHP小说网站源码?带自动采集的那种!谁说的能用我给加100分!!
现在小说系统都加密了,建议用dedecms建站,高负载+全站静态
dedecms的采集也很厉害,不过你要慢慢写采集规则
其实其他的小说系统不一定有dedecms好用
你用心用dedecms打造一个自己的小说站,回报绝对超出你的想象
种子c是什么意思
种子c是什么意思?对于大多数人来说,c种子可能看起来像一个陌生的词汇。但实际上,它是指一个特定的文件类型,其扩展名为“.c”.这种类型的文件是C程序语言的源代码文件。C语言是一种计算机编程语言,被广泛用于操作系统、编译器、数据库和其他关键的应用程序的开发。因此,C语言的C种子文件也不可或缺。
种子c指的是什么?对于很多人而言,c种子可能显得有些生疏。然而,实际上它指的是一种特定的文件格式,其扩展名为“.c”。这类文件是C程序语言的源代码文件。C语言是一种广泛应用于操作系统、编译器、数据库等关键应用程序开发的计算机编程语言。因此,C语言的C种子文件同样不可或缺。
C种子在下载和分享文件方面有何作用?C种子实际上是一种二进制文件,在文件分享和下载方面极为有用。在P2P文件共享中,P2P客户端通常利用这种种子文件作为追踪器来下载文件。使用种子文件下载可以更便捷地获取较大文件。而且,鉴于C程序语言已成为编程领域的标准之一,因此使用C种子文件共享代码也随之增多。
在种子c中存在哪些潜在风险?尽管种子c作为一种标准的C语言文件格式,因其高效便捷而被广泛使用,但其中也潜藏着一些安全风险。不法分子可能会通过C种子文件相关的病毒或恶意软件传播恶意软件。因此,应避免从不可靠的网站或未经验证的链接下载C种子文件,以免感染计算机病毒或其他恶意软件。