8049 - [原创] 动漫二次元爬虫项目 V1.1

admin

动漫二次元时代来了，相信某些同学会喜欢，呵呵~~
6 e3 h6 J! j) C支持自动下载二次元动漫，全程自动下载，无需人工干预~~~

---

一次性爬取 16 个二次元萌图文件夹，共 183 张高清图片，总容量约 167 MB （只需几秒钟）
备注：按当前网站统计，如对方网站数据更新则有变动（始终爬取 第1页 16 个专辑不变）
$ Q( g- d* U5 O1 T! {6 j& {

---

温馨提示：爬取只要超过1分钟，我建议你可以换电脑了（正常网速一般这个过程只需30秒）
7 N$ i* b6 y* G7 b" o3 a/ D( W8 N0 }4 c

---

科普一下：由于本案例我设置了间隔爬取，如果采用并发急速爬取模式，整个过程不会超过5秒！就算是几万，几十万的数据，那也是分分钟搞定，这才是做爬虫项目的初衷，爬虫不是仅为爬取几十条或几百条数据而活的，当前仅仅只是案例展示而已，真真的爬虫项目数据都是几万或几十万起步的！这才是爬虫真真活着的意义！当你爬取数据足够多的时候，你就可以开始学习数据可视化了！

---

注意：千万不要爬取个人信息，千万不要触碰法律红线，切记，切记！

---

下图就是今天我们要爬取的网站 ↓↓↓
6 G/ v3 A/ }! H& m+ q+ r  C3 g# d8 j
( v' p, [  L9 M3 t6 G/ I0 ?
7 ]9 L% d3 ?1 y2 V7 V, ]
+ U, }- j* c6 e$ X* c2 ?5 i图1：目标网站原始图片展示

! A1 d! x5 H* @2 R0 S( l) H
图2：电脑下载本地的图片专辑


- W3 U6 j" V, _- B. C/ d/ y图3：图片专辑展示（以第1个为例）
6 F3 ?, w/ S& v& }9 Q7 {& ]
) Y# }# }0 z/ N& E* K: I7 I

---

特别说明：由于目标网站设置不够严密，其实新大榭可以分分钟把全网站所有图片爬取到本地电脑，我们之所以没那么做，不是因为我们没这个能力，只是当前新大榭把它作为了二层爬取静态页面的教学案例，所以且爬且珍惜，虽然我们免费提供程序下载，但是我们还是希望那些真真爱好动漫二次元的玩家可以拥有它，不要重复爬取哦！且用且珍惜！

---

温馨提示：学习爬虫不是鼓励大家去干那些灰色产业的工作，而是如何帮助我们自己有效提升效率，而本期的案例也验证说明了这点！解放双手，让机器去干我们想干的事，毕竟当下5G、人工智能(AI)，大数据(Big data)时代已经悄然来临..... 而爬虫正是迎合了这个时代，一个站在风口上猪也能飞上天的时代！！！< - END - >

---

" U4 v; j. ]" Y) v# Z6 }5 O

admin

更新日志（Update log）

# V1.1 Bulid 20221015 正式版│重要

|-- 内核│基于Python 4 E5 W9 v9 |% u) {: s9 F//  二次回调图片下载模块指定教材 1015 # I) g* p) K+ j- n+ U//  支持Python源代码封装打包发布 1015 //  新增二次元图片专辑下载目录整理 1015 % C8 H1 E' D  m2 }& i0 U" T5 Z//  支持同专辑内多张图片自动导入下载 1015 //  支持二次元萌图列表首页一次性打包下载 1015 //  智能识别二次元图片专辑命名规则 1015 9 \9 m! c+ l8 c/ i) W0 w4 w//  全程无需人工干预（全程自动化） 1015 5 Z6 p' [* x1 v! S% U; @: t# I4 i

# V1.0 Bulid 20220214 内测版│首发

|-- 内核│基于Python * M- g, \: ?* q1 [* V! t//  基于Python内核框架搭建 0214 & {& `: r2 f" N. f; e* F* I//  支持单张图片ID下载 0214 $ U0 P# i5 b& u8 _6 _; H( l

admin

温馨提示（Tips）

>> 更多内容，敬请关注...