百度网盘资源搜索引擎系统-BaiduyunSpider 爬虫+网站PHP源码【免费分享】

aiduyunSpider,是基于轻量级的PHP框架Codeigniter+Python开发的一套百度百度云盘搜索引擎爬虫程序。包含百度云网盘爬虫、网站前后端、搜索,整套服务。

可以采集小说,电影,音乐,种子,或者各大类教程资源,还是挺不错的。

百度网盘资源搜索引擎系统-BaiduyunSpider 爬虫+网站PHP源码【免费分享】
百度网盘资源搜索引擎系统-BaiduyunSpider 爬虫+网站PHP源码【免费分享】

网站: PHP Codeigniter

爬虫:Python

搜索引擎:Xunsearch

数据库:MySql

主要功能介绍:

分布式爬虫

爬虫IP代理

Web 控制面板

死链检测

重构爬虫 => 采用Node.js

使用 elasticsearch 搜索引擎

安装部署教程

## 运行环境

开始之前你需要安装

* PHP 5.3.7 +

* MySQL

* Python 2.7 ~

* [xunsearch](https://xunsearch.com/) 搜索引擎

## 获取源码

“`

git clone git@github.com:k1995/BaiduyunSpider.git

“`

或手动下载

“`

httpss://github.com/k1995/BaiduyunSpider/archive/master.zip

“`

下载完毕后,___项目的目录结构___大致是这样的

“`

— indexer/ #索引

— spider/ #爬虫

— sql/

— web/ #网站

— application/

— config/ # 配置相关

— config.php

— database.php # 数据库配置

— static/ # 存放静态资源,css|js|font

— system/

— index.php

“`

## 开始部署

### 创建数据库

创建名为`pan`的数据库,编码设为`utf-8`。然后导入`sql`,完成表的创建。

### 网站部署

支持`nginx`,`apache` 服务器。

__apache__ 需要开启 *mod_rewrite* 。

__nginx__ 配置如下

“`

location /

{

index index.php;

try_files $uri $uri/ /index.php/$uri;

}

location ~ [^/]\.php(/|$)

{

fastcgi_pass 127.0.0.1:9000;

fastcgi_index index.php;

include fastcgi.conf;

include pathinfo.conf;

}

“`

#### 配置文件修改

`config.php` 文件修改网站标题,描述等信息

`database.php` 修改数据库账号,密码等信息

> 网站是基于CodeIgniter 框架开发的,如安装,部署,或二次开发有问题,请参考[官网文档]( https://codeigniter.org.cn/user_guide/general/welcome.html)

### 启动爬虫

进入 `spider/`目录,修改`spider.py` 中数据库信息。

__如果你是第一次部署,需运行下面命令,完成做种__

“`

python spider.py –seed-user

“`

上面其实就是抓取百度云热门分享用户的相关信息,然后从他们开始入手爬取数据

然后运行

“`

python spider.py

“`

此时爬虫已经开始工作了

### 安装xunsearch

目前使用__xunsearch__作为搜索引擎,后面会更换为`elasticsearch`。

安装过程请参考(不需要安装,PHP SDK,我已经整合到web里了)

https://xunsearch.com/doc/php/guide/start.installation

### 索引数据

上面我们完成了爬虫的数据抓取,网站的搭建,但还不能搜索,下面开始最后一步,索引的建立。

进入 `indexer/`目录,在`indexer.php`中将$prefix,替换为你web的根路径

“`

require '$prefix/application/helpers/xs/lib/XS.php';

“`

并修改数据库账号密码

然后运行

“`

python ./index.php

“`

到此为止程序已全部安装完毕

157648.html

下载说明:

1.本站资源都是白菜价出售,同样的东西,我们不卖几百,也不卖几十,甚至才卖几块钱,一个永久会员能下载全站100%源码了,所以单独购买也好,会员也好均不提供相关技术服务。

2.如果源码下载地址失效请/联系站长QQ进行补发。

3.本站所有资源仅用于学习及研究使用,请必须在24小时内删除所下载资源,切勿用于商业用途,否则由此引发的法律纠纷及连带责任本站和发布者概不承担。资源除标明原创外均来自网络整理,版权归原作者或本站特约原创作者所有,如侵犯到您权益请联系本站删除!

4.本站站内提供的所有可下载资源(软件等等)本站保证未做任何负面改动(不包含修复bug和完善功能等正面优化或二次开发);但本网站不能保证资源的准确性、安全性和完整性,用户下载后自行斟酌,我们以交流学习为目的,并不是所有的源码都100%无错或无bug;同时本站用户必须明白,【源码源码ui网】对提供下载的软件等不拥有任何权利(本站原创和特约原创作者除外),其版权归该资源的合法拥有者所有。

5.请您认真阅读上述内容,购买即以为着您同意上述内容。

源码UI网 » 百度网盘资源搜索引擎系统-BaiduyunSpider 爬虫+网站PHP源码【免费分享】

发表回复