基于PHP的cURL快速入门教程 (小偷采集程序)

ttx9n

cURL 是一个利用URL语法规定来传输文件和数据的工具，支持很多协议，如HTTP、FTP、TELNET等。很多小偷程序都是使用这个函数。 最爽的是，PHP也支持 cURL 库。本文将介绍 cURL 的一些高级特性，以及在PHP中如何运用它。

为什么要用 cURL?

是的，我们可以通过其他办法获取网页内容。大多数时候，我因为想偷懒，都直接用简单的PHP函数：

$content = file_get_contents("//www.jb51.net"); // or $lines = file("//www.jb51.net"); // or readfile(//www.jb51.net);

不过，这种做法缺乏灵活性和有效的错误处理。而且，你也不能用它完成一些高难度任务——比如处理coockies、验证、表单提交、文件上传等等。

引用：
cURL 是一种功能强大的库，支持很多不同的协议、选项，能提供 URL 请求相关的各种细节信息。

基本结构

在学习更为复杂的功能之前，先来看一下在PHP中建立cURL请求的基本步骤：

1. 初始化
2. 设置变量
3. 执行并获取结果
4. 释放cURL句柄

// 1. 初始化 $ch = curl_init(); // 2. 设置选项，包括URL curl_setopt($ch, CURLOPT_URL, "//www.jb51.net"); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_HEADER, 0); // 3. 执行并获取HTML文档内容 $output = curl_exec($ch); // 4. 释放curl句柄 curl_close($ch);

第二步（也就是 curl_setopt() ）最为重要，一切玄妙均在此。有一长串cURL参数可供设置，它们能指定URL请求的各个细节。要一次性全部看完并理解可能比较困难，所以今天我们只试一下那些更常用也更有用的选项。

检查错误

你可以加一段检查错误的语句（虽然这并不是必需的）：

// ... $output = curl_exec($ch); if ($output === FALSE) {     echo "cURL Error: " . curl_error($ch); } // ...

请注意，比较的时候我们用的是“=== FALSE”，而非“== FALSE”。因为我们得区分 空输出 和 布尔值FALSE，后者才是真正的错误。

获取信息

这是另一个可选的设置项，能够在cURL执行后获取这一请求的有关信息：

// ... curl_exec($ch); $info = curl_getinfo($ch); echo '获取'. $info['url'] . '耗时'. $info['total_time'] . '秒'; // ...

返回的数组中包括了以下信息：

• “url” //资源网络地址
• “content_type” //内容编码
• “http_code” //HTTP状态码
• “header_size” //header的大小
• “request_size” //请求的大小
• “filetime” //文件创建时间
• “ssl_verify_result” //SSL验证结果
• “redirect_count” //跳转技术  
• “total_time” //总耗时
• “namelookup_time” //DNS查询耗时
• “connect_time” //等待连接耗时
• “pretransfer_time” //传输前准备耗时
• “size_upload” //上传数据的大小
• “size_download” //下载数据的大小
• “speed_download” //下载速度
• “speed_upload” //上传速度
• “download_content_length”//下载内容的长度
• “upload_content_length” //上传内容的长度  
• “starttransfer_time” //开始传输的时间
• “redirect_time”//重定向耗时

基于浏览器的重定向

在第一个例子中，我们将提供一段用于侦测服务器是否有基于浏览器的重定向的代码。例如，有些网站会根据是否是手机浏览器甚至用户来自哪个国家来重定向网页。

我们利用 CURLOPT_HTTPHEADER 选项来设定我们发送出的HTTP请求头信息（http headers），包括user agent信息和默认语言。然后我们来看看这些特定网站是否会把我们重定向到不同的URL。

// 测试用的URL $urls = array(     "http://www.cnn.com",     "http://www.mozilla.com",     "http://www.facebook.com" ); // 测试用的浏览器信息 $browsers = array(     "standard" => array (         "user_agent" => "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6 (.NET CLR 3.5.30729)",         "language" => "en-us,en;q=0.5"         ),     "iphone" => array (         "user_agent" => "Mozilla/5.0 (iPhone; U; CPU like Mac OS X; en) AppleWebKit/420+ (KHTML, like Gecko) Version/3.0 Mobile/1A537a Safari/419.3",         "language" => "en"         ),     "french" => array (         "user_agent" => "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB6; .NET CLR 2.0.50727)",         "language" => "fr,fr-FR;q=0.5"         ) ); foreach ($urls as $url) {     echo "URL: $url\n";     foreach ($browsers as $test_name => $browser) {         $ch = curl_init();         // 设置 url         curl_setopt($ch, CURLOPT_URL, $url);         // 设置浏览器的特定header         curl_setopt($ch, CURLOPT_HTTPHEADER, array(                 "User-Agent: {$browser['user_agent']}",                 "Accept-Language: {$browser['language']}"             ));         // 页面内容我们并不需要         curl_setopt($ch, CURLOPT_NOBODY, 1);         // 只需返回HTTP header         curl_setopt($ch, CURLOPT_HEADER, 1);         // 返回结果，而不是输出它         curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);         $output = curl_exec($ch);         curl_close($ch);         // 有重定向的HTTP头信息吗?         if (preg_match("!Location: (.*)!", $output, $matches)) {             echo "$test_name: redirects to $matches[1]\n";         } else {             echo "$test_name: no redirection\n";         }     }     echo "\n\n"; }

首先，我们建立一组需要测试的URL，接着指定一组需要测试的浏览器信息。最后通过循环测试各种URL和浏览器匹配可能产生的情况。

因为我们指定了cURL选项，所以返回的输出内容则只包括HTTP头信息（被存放于 $output 中）。利用一个简单的正则，我们检查这个头信息中是否包含了“Location:”字样。

运行这段代码应该会返回如下结果：

这段脚本发送一个POST请求给 post_output.php ，这个页面 $_POST 变量并返回，我们利用cURL捕捉了这个输出。

文件上传

上传文件和前面的POST十分相似。因为所有的文件上传表单都是通过POST方法提交的。

首先新建一个接收文件的页面，命名为 upload_output.php：

print_r($_FILES);

以下是真正执行文件上传任务的脚本：

$url = "http://localhost/upload_output.php"; $post_data = array (     "foo" => "bar",     // 要上传的本地文件地址     "upload" => "@C:/wamp/www/test.zip" ); $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_POST, 1); curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data); $output = curl_exec($ch); curl_close($ch); echo $output;

如果你需要上传一个文件，只需要把文件路径像一个post变量一样传过去，不过记得在前面加上@符号。执行这段脚本应该会得到如下输出：

uj9lpc

源码源码源码源码源码源码源码源码源码源码源码源码源码

dingzhi521

建军节建军节建军节建军节

u6h2m4

需要很久了终于找到了

64000928

老衲笑纳了

wangdj110

抽根烟，下来看看再说

xf9hlg1

撒房产税陈飞飞

xf9hlg1

这个源码不错啊

sykzus

管灌灌灌灌灌灌灌灌灌灌

平平安安

很不错的玩意