@diogoxiang
摄影界会敲代码的
项目代号：土拨鼠（tubo） 万维网网络机器人,又称蜘蛛,爬虫,原理主要是通过构造符合HTTP协议的网络数据包,向指定主机请求资源,获取返回的数据.万维网有大量的公开信息,人力采集数据费时费力,故激发了爬虫的产业化. 批量获取公开网络数据并不违反,但由于无差别性,无节制,十分暴力的手段会导致对方服务的不稳定,因此,大部分资源提供商对数据包进行了某些过滤,在此背景下,小批量数据获取成为了难题. 综合各种需求，如各种API对接,自动化测试等原理均一样，故开发了此爬虫库. 土拨鼠爬虫库是一个人类友好姿势的代码库,开发采用面向对象的方式,易于理解.通过对Golang原生HTTP库的封装,帮用户处理了一些琐碎逻辑(如收集信息,检测参数),并加入了一些容错机制(如加锁,及时关闭流),保证了爬虫高并发的安全. 此库提供了大量优美的API接口,复用率高,十分方便地支持Cookie接力,爬虫代理设置,以及一般的HTTP请求设置如头部设置,超时,暂停设置,数据设置等,支持全部的HTTP方法如POST/PUT/GET/DELETE等,内置爬虫池和浏览器UA池,易于开发多UA多Cookie分布式爬虫. 此外,还提供第三方存储库,支持mysql/postgresql/redis/cassandra/hbase等.该库简单实用,短短几行代码即可取代以往杂乱无章的面包条代码片段,已经应用在某些大项目中:如大型亚马逊分布式爬虫(美国/日本/德国/英国),经受住两千代理IP超长时间高并发的考验,单台机器每天获取上百万数据. 该库主要用途： 微信开发/API对接/自动化测试/抢票脚本/网站监控/点赞插件/数据爬取
最近更新: 1天前GoFrame是一款模块化、高性能、企业级的Go基础开发框架。如果您想使用Golang开发一个业务型项目，无论是小型还是中大型项目，GoFrame是您的不二之选。如果您想开发一个Golang组件库，GoFrame提供开箱即用、丰富强大的基础组件库也能助您的工作事半功倍。
🔥可商用的开源商城系统，框架采用Tp6+MySQL+elementUI+uniapp，商城系统代码全部开源；前后台都支持风格切换，包含小程序商城、H5商城、公众号商城、App，支持多语言、分销、拼团、砍价、秒杀、优惠券、积分、抽奖、会员等级、小程序直播、页面DIY，前后端分离，方便二开，使用文档、接口文档、数据字典、代码生成、二开文档/视频教程，欢迎大家提出宝贵意见和建议
最近更新: 3天前Excelize-wasm 是 Excelize 基础库的 WebAssembly / Javascript 实现，可用于操作 Office Excel 文档，可以使用它来读取、写入由 MS Excel 2007 及以上版本创建的电子表格文档。支持 XLAM / XLSM / XLSX / XLTM / XLTX 等多种文档格式，高度兼容带有样式、图片(表)、透视表、切片器等复杂组件的文档。
最近更新: 5天前
