热点推荐

查看: 2444|回复: 146

[原创工具] 枫凌URL无限采集器-爬虫版-v1.0-

  [复制链接]
  • TA的每日心情
    无聊
    4 天前
  • 签到天数: 58 天

    [LV.5]常住居民I

     成长值: 12520

    480

    主题

    662

    帖子

    4万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    41672

    新界之星活跃会员热心会员论坛常驻精华最多

    发表于 2017-5-5 14:17:43 | 显示全部楼层 |阅读模式
    好久没发工具了,现在圈子里的自动化工具太多了,好多人都需要大量的URL进行测试。写了一个爬虫工具

    导入的初始URL越多,爬行到的URL也越多,可以进行URL指定字符串过滤,并且爬行到的URL不会与导入的URL重复。

    看图:

    1.png

    2.png

    我自己在08服务器上测试的,可以导入URL一直挂着,按日期天数自动保存TXT。

    线程延迟越高,执行效率越慢,消耗CPU越少。

    附件下载:

    游客,如果您要查看本帖隐藏内容请回复


    解压密码:
    游客,如果您要查看本帖隐藏内容请回复

    回复

    使用道具 举报

  • TA的每日心情

    2018-3-23 11:16
  • 签到天数: 2 天

    [LV.1]初来乍到

    0

    主题

    28

    帖子

    124

    积分

    注册会员

    Rank: 2

    积分
    124
    发表于 2017-5-5 16:39:08 | 显示全部楼层
    看看呵呵啊
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

    该用户从未签到

    3

    主题

    33

    帖子

    97

    积分

    注册会员

    Rank: 2

    积分
    97
    发表于 2017-5-5 21:53:33 | 显示全部楼层
    支持下 不错呃!!
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    20

    帖子

    90

    积分

    注册会员

    Rank: 2

    积分
    90
    发表于 2017-5-5 22:08:31 | 显示全部楼层
    感谢分享~~么么哒
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

    该用户从未签到

     成长值: 8830

    1

    主题

    55

    帖子

    399

    积分

    VIP用户

    Rank: 3Rank: 3

    积分
    399
    发表于 2017-5-5 22:18:00 | 显示全部楼层
    啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    2

    帖子

    9

    积分

    新手上路

    Rank: 1

    积分
    9
    发表于 2017-5-5 22:33:23 | 显示全部楼层
    自己在08服务器上测试的,可以导入URL一直挂着,按日期天数自动保存TXT。

    线程延迟越高,执行效率越慢,消耗CPU
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

  • TA的每日心情
    无聊
    昨天 18:33
  • 签到天数: 5 天

    [LV.2]偶尔看看I

    0

    主题

    8

    帖子

    28

    积分

    新手上路

    Rank: 1

    积分
    28
    发表于 2017-5-6 07:45:36 | 显示全部楼层
    666666666666666
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    2

    帖子

    8

    积分

    新手上路

    Rank: 1

    积分
    8
    发表于 2017-5-6 11:03:50 | 显示全部楼层
    厉害了。。。
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    17

    帖子

    61

    积分

    注册会员

    Rank: 2

    积分
    61
    发表于 2017-5-6 14:59:12 | 显示全部楼层
    枫凌URL无限采集器-爬虫版
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    昨天 19:45
  • 签到天数: 59 天

    [LV.5]常住居民I

    2

    主题

    221

    帖子

    946

    积分

    高级会员

    Rank: 4

    积分
    946
    发表于 2017-5-6 16:28:30 | 显示全部楼层
    66666666666666
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    快速回复 返回顶部 返回列表