一站式源码购物平台:全方位PHP采集程序资源精选

万能网页抓取平台php代码

php抓取网页源代码的技巧有哪些

可以借鉴以下几种途径:

方法一:运用file_get_contents抓取

spanstyle="white-space:pre"?/span$url="";

spanstyle="white-space:pre"?/span$fh=file_get_contents

('');spanstyle="white-space:pre"?/spanecho$fh;

方法二:通过fopen抓取网页源代码

spanstyle="white-space:pre"?/span$url="";

spanstyle="white-space:pre"?/span$handle=fopen($url,"rb");

spanstyle="white-space:pre"?/span$contents="";

spanstyle="white-space:pre"?/spanwhile(!feof($handle)){

spanstyle="white-space:pre"/span$contents.=fread($handle,8192);

spanstyle="white-space:pre"?/span}

spanstyle="white-space:pre"?/spanfclose($handle);

spanstyle="white-space:pre"?/spanecho$contents;//输出获取到的内容。

方法三:利用CURL抓取网页源代码

$url="";

$UserAgent='Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0;SLCC1;.NETCLR2.0.50727;.NETCLR3.0.04506;.NETCLR3.5.21022;.NETCLR1.0.3705;.NETCLR1.1.4322)';

$curl=curl_init();?//创建一个新的CURL资源

curl_setopt($curl,CURLOPT_URL,$url);?//设置URL和相应的选项

curl_setopt($curl,CURLOPT_HEADER,0);?//0表示不输出Header,1表示输出

curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);?//设定是否显示头信息,1显示,0不显示。//如果成功只将结果返回,不自动输出任何内容。如果失败返回FALSE

curl_setopt($curl,CURLOPT_SSL_VERIFYPEER,false);

curl_setopt($curl,CURLOPT_SSL_VERIFYHOST,false);

curl_setopt($curl,CURLOPT_ENCODING,'');?//设置编码格式,为空表示支持所有格式的编码

//header中“Accept-Encoding:”部分的内容,支持的编码格式为:"identity","deflate","gzip"。

curl_setopt($curl,CURLOPT_USERAGENT,$UserAgent);

curl_setopt($curl,CURLOPT_FOLLOWLOCATION,1);

//设置这个选项为一个非零值(象“Location:“)的头,服务器会把它当做HTTP头的一部分发送(注意这是递归的,PHP将发送形如“Location:“的头)。

$data=curl_exec($curl);

echo$data;

//echocurl_errno($curl);//返回0时表示程序执行成功

curl_close($curl);?//关闭CURL资源,并释放系统资源

扩展信息

PHP(外文名:PHP:HypertextPreprocessor,中文名:“超文本预处理器”)是一种通用开源脚本语言。其语法融合了C语言、Java和Perl的特点,易于学习,应用广泛,主要用于Web开发。PHP独特的语法结合了C、Java、Perl以及PHP自创的语法。它能够比CGI或Perl更快速地执行动态网页。

用PHP制作的动态网页与其他编程语言相比,PHP是将程序嵌入到HTML文档中去执行,执行效率比完全生成HTML标记的CGI要高很多;PHP还可以执行编译后的代码,编译可以达到加密和优化代码运行,使代码执行更快。

参考资料:PHP(超文本预处理器)-百度百科

寻求带登录功能的网站抓取php代码或思路

获取链接数据后,增加判断:若需登录,则使用php的curl函数进行模拟post;若不需登录,则直接采集。

高分!求高手网站数据抓取源代码或编程策略

思路:

RSS抓取

相似算法

聚类

分类

(一)原理

盗版程序实际上是通过XML中的XMLHTTP组件调用其他网站上的网页。例如新闻盗版程序,许多都是调用了sina的新闻网页,并对其中的html进行了某些替换,同时过滤了广告。盗版程序的优点有:无需维护网站,因为盗版程序中的数据来自其他网站,它会随着该网站的更新而更新;可以节省服务器资源,一般盗版程序只有几个文件,所有网页内容都来自其他网站。缺点有:不稳定,如果目标网站出错,程序也会出错,而且,如果目标网站进行升级维护,那么盗版程序也要进行相应修改;速度,因为是远程调用,速度和在本地服务器上读取数据相比,肯定会慢一些。

(二)实例

以下是代码片段:

下面就XMLHTTP在ASP中的应用做个简单说明

〈%

’常用函数

’1、输入url目标网页地址,返回值getHTTPPage是目标网页的html代码

functiongetHTTPPage(url)

dimHttp

setHttp=server.createobject("MSXML2.XMLHTTP")

Http.open"GET",url,false

Http.send()

ifHttp.readystate〈〉4then

exitfunction

endif

getHTTPPage=bytesToBSTR(Http.responseBody,"GB2312")

sethttp=nothing

iferr.number〈〉0thenerr.Clear

endfunction

’2、转换乱码,直接用xmlhttp调用有中文字符的网页得到的将是乱码,可以通过adodb.stream组件进行转换

FunctionBytesToBstr(body,Cset)

dimobjstream

setobjstream=Server.CreateObject("adodb.stream")

objstream.Type=1

objstream.Mode=3

objstream.Open

objstream.Writebody

objstream.Position=0

objstream.Type=2

objstream.Charset=Cset

BytesToBstr=objstream.ReadText

objstream.Close

setobjstream=nothing

EndFunction

’下面试着调用的html内容

DimUrl,Html

Url=""

Html=getHTTPPage(Url)

Response.writeHtml

%〉ASP盗版入门教程.....附QQ天气盗版源代码

成为一名优秀的盗版者有一定难度:P,灵活运用XMLHTTP组件,你也可以成为“盗版者”。

成为一名优秀的小偷颇具挑战性:P,巧妙运用XMLHTTP组件,你也能成为“盗贼”

此处所说的“盗贼”是指在ASP中利用XML中的XMLHTTP组件所提供的强大功能,将远程网站上的数据(图片、网页及其他文件)窃取至本地,经过一系列处理后展示在页面上或存储到数据库中的一类程序。通过这种盗贼程序,你可以完成一些看似不可能的任务,例如将某个网站的页面篡改后变成自己的页面,或者将某个网站的一些数据(文章、图片)保存到本地数据库中加以利用。“盗贼”的优点包括:无需维护网站,因为盗贼程序中的数据来源于其他网站,它会随着该网站的更新而更新;可以节省大量的服务器资源,一般盗贼程序仅有几个文件,所有网页内容均来自其他网站。缺点在于:不稳定,如果目标网站出现故障,程序也会出错,而且,如果目标网站进行升级维护,那么盗贼程序也需要进行相应修改;速度,因为是远程调用,速度与在本地服务器上读取数据相比,肯定会慢一些。听起来很神奇吧?现在我们就开始学习一些“盗贼”程序的入门知识吧!

我们以一个简单的事物为例进行研究,QQ网站上的天气预报程序

程序演示地址:

源码下载:

代码如下:

以下是代码片段:

〈%

OnErrorResumeNext

Server.ScriptTimeOut=9999999

FunctiongetHTTPPage(Path)

t=GetBody(Path)

getHTTPPage=BytesToBstr(t,"GB2312")

Endfunction'首先,进行盗贼程序的一些初始化设置,以上代码的作用分别是忽略掉所有非致命性错误,把盗贼程序的运行超时时间设置得很长(这样不会出现运行超时的错误),转换原来默认的UTF-8编码转换成GB2312编码,否则直接用XMLHTTP组件调用含有中文字符的网页得到的将是乱码。

以下是代码片段:

FunctionGetBody(url)

onerrorresumenext

SetRetrieval=CreateObject("Microsoft.XMLHTTP")

WithRetrieval

.Open"Get",url,False,"",""

.Send

GetBody=.ResponseBody

EndWith

SetRetrieval=Nothing

EndFunction

’然后调用XMLHTTP组件创建一个对象并进行初始化设置。

FunctionBytesToBstr(body,Cset)

dimobjstream

setobjstream=Server.CreateObject("adodb.stream")

objstream.Type=1

objstream.Mode=3

objstream.Open

objstream.Writebody

objstream.Position=0

objstream.Type=2

objstream.Charset=Cset

BytesToBstr=objstream.ReadText

objstream.Close

setobjstream=nothing

EndFunction

FunctionNewstring(wstr,strng)

Newstring=Instr(lcase(wstr),lcase(strng))

ifNewstring〈=0thenNewstring=Len(wstr)

EndFunction

’处理抓取回来的数据需要调用adodb.stream组件并进行初始化设置。%〉

’以下即为页面显示部分

〈%

Dimwstr,str,url,start,over,city

’定义一些需要使用到的变量

city=Request.QueryString("id")

’程序传回的ID变量(即用户选择的城市)赋给id

url=""city""

’这里设置需要抓取的页面地址,当然你也可以直接指定某个地址而不使用变量

wstr=getHTTPPage(url)'以下是代码片段:

获取指定页面的全部数据

start=Newstring(wstr,"")

’这里设置需要处理的数据的头部,这个变量应视不同情况而设置,具体内容可以通过查看需要抓取的页面的源代码来确定。因为在这个程序里我们需要抓取整个页面,所以设置为页面全部抓取。注意,设置的内容必须是页面内容唯一的,不可以重复。

over=Newstring(wstr,"")

’和start相对应的就是需要处理的数据的尾部,同样的,设置的内容必须是页面中唯一的。

body=mid(wstr,start,over-start)

’设置显示页面的范围

’下面就是动用移花接木大法的时候了,通过replace可以用一些字符替换掉数据中指定的字符。

body=replace(body,"skin1","天气预报")

body=replace(body,"","tianqi.asp?id")

’本程序中已经完成了替换的工作,如果有其他需要的话可以继续进行类似的替换操作。

response.writebody

%〉替换完需要修改的内容后,就可以把修改的内容显示在页面上了。至此程序结束

程序使用方法及结果:将上述代码去掉说明部分后保存为tianqi.asp,上传到支持ASP和XML的空间下,在浏览器中运行即可。你可以在这个程序的基础上进行进一步的界面美化或者程序优化。

以上只是一些关于XMLHTTP组件的初级应用,实际上它还能实现的功能还有很多,比如说保存远程图片到本地服务器上,配合adodb.stream组件可以把获取来的数据保存进数据库。盗贼的作用和使用范围都很广。但是不可以拿来做违法的事哦!

或许还有人会问,这种“盗贼”程序难道只是ASP的专利吗?非也,PHP通过fopen函数同样可以实现同样的效果,由于PHP本身的各种特点,编写出来的盗贼程序与ASP相比,在体积和执行效率上都有着明显的优势,但限于篇幅,这里就不一一说明了。

谁也免费的PHP小说网站源码?带自动采集的那种!谁说的能用我给加100分!!

现在小说系统都加密了,建议用dedecms建站,高负载+全站静态

dedecms的采集也很厉害,不过你要慢慢写采集规则

其实其他的小说系统不一定有dedecms好用

你用心用dedecms打造一个自己的小说站,回报绝对超出你的想象

种子c是什么意思

种子c是什么意思?对于大多数人来说,c种子可能看起来像一个陌生的词汇。但实际上,它是指一个特定的文件类型,其扩展名为“.c”.这种类型的文件是C程序语言的源代码文件。C语言是一种计算机编程语言,被广泛用于操作系统、编译器、数据库和其他关键的应用程序的开发。因此,C语言的C种子文件也不可或缺。

种子c指的是什么?对于很多人而言,c种子可能显得有些生疏。然而,实际上它指的是一种特定的文件格式,其扩展名为“.c”。这类文件是C程序语言的源代码文件。C语言是一种广泛应用于操作系统、编译器、数据库等关键应用程序开发的计算机编程语言。因此,C语言的C种子文件同样不可或缺。

C种子在下载和分享文件方面有何作用?C种子实际上是一种二进制文件,在文件分享和下载方面极为有用。在P2P文件共享中,P2P客户端通常利用这种种子文件作为追踪器来下载文件。使用种子文件下载可以更便捷地获取较大文件。而且,鉴于C程序语言已成为编程领域的标准之一,因此使用C种子文件共享代码也随之增多。

在种子c中存在哪些潜在风险?尽管种子c作为一种标准的C语言文件格式,因其高效便捷而被广泛使用,但其中也潜藏着一些安全风险。不法分子可能会通过C种子文件相关的病毒或恶意软件传播恶意软件。因此,应避免从不可靠的网站或未经验证的链接下载C种子文件,以免感染计算机病毒或其他恶意软件。

以上所转载内容均来自于网络,不为其真实性负责,只为传播网络信息为目的,非商业用途,如有异议请及时联系btr2020@163.com,本人将予以删除。
THE END
分享
二维码
< <上一篇
下一篇>>