热点推荐

查看: 4237|回复: 169

[原创工具] 枫凌URL无限采集器-爬虫版-v1.0-

  [复制链接]
  • TA的每日心情
    开心
    前天 11:02
  • 签到天数: 74 天

    [LV.6]常住居民II

     成长值: 16660

    481

    主题

    682

    帖子

    4万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    41554

    新界之星活跃会员热心会员论坛常驻精华最多

    发表于 2017-5-5 14:17:43 | 显示全部楼层 |阅读模式
    好久没发工具了,现在圈子里的自动化工具太多了,好多人都需要大量的URL进行测试。写了一个爬虫工具

    导入的初始URL越多,爬行到的URL也越多,可以进行URL指定字符串过滤,并且爬行到的URL不会与导入的URL重复。

    看图:

    1.png

    2.png

    我自己在08服务器上测试的,可以导入URL一直挂着,按日期天数自动保存TXT。

    线程延迟越高,执行效率越慢,消耗CPU越少。

    附件下载:

    游客,如果您要查看本帖隐藏内容请回复


    解压密码:
    游客,如果您要查看本帖隐藏内容请回复

    回复

    使用道具 举报

  • TA的每日心情

    2018-3-23 11:16
  • 签到天数: 2 天

    [LV.1]初来乍到

    0

    主题

    27

    帖子

    124

    积分

    注册会员

    Rank: 2

    积分
    124
    发表于 2017-5-5 16:39:08 | 显示全部楼层
    看看呵呵啊
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

  • TA的每日心情

    1537718837
  • 签到天数: 5 天

    3

    主题

    32

    帖子

    97

    积分

    注册会员

    Rank: 2

    积分
    97
    发表于 2017-5-5 21:53:33 | 显示全部楼层
    支持下 不错呃!!
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

  • TA的每日心情
    擦汗
    前天 00:07
  • 签到天数: 5 天

    [LV.2]偶尔看看I

    1

    主题

    30

    帖子

    84

    积分

    注册会员

    Rank: 2

    积分
    84
    发表于 2017-5-5 22:08:31 | 显示全部楼层
    感谢分享~~么么哒
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

    该用户从未签到

     成长值: 12970

    1

    主题

    55

    帖子

    399

    积分

    VIP用户

    Rank: 3Rank: 3

    积分
    399
    发表于 2017-5-5 22:18:00 | 显示全部楼层
    啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    2

    帖子

    9

    积分

    新手上路

    Rank: 1

    积分
    9
    发表于 2017-5-5 22:33:23 | 显示全部楼层
    自己在08服务器上测试的,可以导入URL一直挂着,按日期天数自动保存TXT。

    线程延迟越高,执行效率越慢,消耗CPU
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

  • TA的每日心情
    无聊
    2018-9-13 07:59
  • 签到天数: 14 天

    [LV.3]偶尔看看II

    0

    主题

    20

    帖子

    111

    积分

    注册会员

    Rank: 2

    积分
    111
    发表于 2017-5-6 07:45:36 | 显示全部楼层
    666666666666666
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    2

    帖子

    8

    积分

    新手上路

    Rank: 1

    积分
    8
    发表于 2017-5-6 11:03:50 | 显示全部楼层
    厉害了。。。
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    17

    帖子

    61

    积分

    注册会员

    Rank: 2

    积分
    61
    发表于 2017-5-6 14:59:12 | 显示全部楼层
    枫凌URL无限采集器-爬虫版
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

  • TA的每日心情
    擦汗
    5 天前
  • 签到天数: 104 天

    [LV.6]常住居民II

    2

    主题

    266

    帖子

    1219

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1219
    发表于 2017-5-6 16:28:30 | 显示全部楼层
    66666666666666
    枫凌资源共享吧,只分享最实用的视频,只开发最需要的工具,只提供最优秀的资料。
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    快速回复 返回顶部 返回列表