20分钟下载完mm131整站5000套16G全部图片

原文地址:https://www.hostloc.com/thread-556431-1-1.html

采集代码

如果有兴趣采集的话,可以看看这个,没兴趣往下看。
感觉这个站一直被采,网上太多采这个站的教程了。

采集程序代码:https://dev.tencent.com/u/iht/p/crawler
下载程序代码:https://dev.tencent.com/u/iht/p/download
把采集到的数据导入到下载程序的数据库的代码:https://dev.tencent.com/u/iht/p/album2download
把采集到的数据导入到typecho数据库3张表的代码:https://dev.tencent.com/u/iht/p/album2typecho

------------------四个项目的运行顺序应该是这样的-----------------------

  1. 当然是先运行采集程序了,没有数据怎么下载和导入
  2. 运行album2download,把需要下载的图片链接导入到下载表
  3. 运行下载程序,看你带宽吧,我本地150M是跑满了,32线程
  4. 运行导入typecho的程序,导入完成后记得到metas表中把分类的slug给设置上,这个需要手动这是,没在程序里写死

随便看看

如果你只想看图片:http://t.cn/AiCOCpss
如果想全站图片下载:
需要注意的是,下载回来的图片文件夹名字是随机8个字母的。

  1. 配置windows环境:https://coding.ee/105/ ,安装JDK并且配置环境变量。
  2. 然后下载这个 http://drive.coding.ee/win32.jar
  3. 打开win32.jar所在的文件夹,按下 Shift + 鼠标右键,在此处打开Powercell窗口
  4. 进去之后输入 java -jar win32.jar ,等几秒钟,不要关这个窗口,打开 d盘 看看 img/mm131文件夹下是不是已经开始下载了。

更简单的下载mm131全站图片

原文地址:https://www.hostloc.com/thread-556779-1-1.html
源码地址:https://github.com/eicky/mm131

优点:文件夹使用中文名字命名。
缺点:只开启了6个线程跑,时间略长一点

使用方法

  1. 安装python3还有pip3(具体的安装方法请找度娘)
  2. 下载源码到本地
  3. cmd 切换到源码目录,执行python mm131.py

20分钟下载完mm131整站5000套16G全部图片

资源均具有时效性,本站无法保证资源长期有效。

文章均为好人卡整理分享,仅作个人学习使用,转载请注明链接,谢谢!

资源解压 | 善用搜索 | 网址导航 | 资源投稿

15 条回复 A 作者 M 管理员
  1. python 文件在windows下有点小问题,除了导包,要注意下多线程写入main函数里以及requests的重复命名冲突,暂时就发现了这俩

  2. 正经的写真就是一股清流啊!

欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论