自从 Python 火了起来,编写爬虫程序的门口越来越低,爬取别人网站数据也越来越猖獗。
阻止爬虫也就是我们这次要说的「反爬虫」,「反爬虫」涉及到的技术比较综合,说简单也简单,说复杂也复杂,看具体要做到哪种保护程度了。
下面我们说说常见的「反爬虫」技术。
一、前置知识
1. 动态...
4392℃
默认安装的go 在 build的时候会出现长时间无响应,有类似如下报如下错误:
go: github.com/hyperledger/fabric-contract-api-go@v1.0.0: Get https://proxy.golang.org/github.com/hy...
18559℃
从知乎上看到了一个关于微服务的的解释,很实际也能明了,转载没事了多看几遍:读书千遍奇迹自现…… ^-^
本文将介绍微服务架构和相关的组件,介绍他们是什么以及为什么要使用微服务架构和这些组件。本文侧重于简明地表达微服务架构的全局图景,因此不会涉及具体如何使用组件等细节。
要理...
11860℃
来自简书,原名不是这个,但是这个名字应该会更合适。从网站最开始写起一共分为10个阶段,当然现阶段可能分的更多,不过这10个阶段足够一个公司从小走到中型企业了。以下内容架构师请略过……
1. 初始阶段的网站架构
一般来讲,大型网站都是从小型网站发展而来,一开始的架...
5209℃
通常,我们申请的阿里云服务器,默认是没有交换分区的,这意味这linux系统失去页换入和页换出的能力,linux能用的运存就只有内存这一区域,当应用程序占用内存太多,内存中的缓存区会减少,系统运行速度会变慢。
可以用以下命令查看内存的换入换出记录:
如何开启交换区呢,运行下列命令:...
8550℃
Dockerfile是Docker用来构建镜像的文本文件,包括自定义的指令和格式。可以通过docker build命令从Dockerfile中构建镜像。用户可以通过统一的语法命令来根据需求进行配置,通过这份统一的配置文件,在不同的文件上进行分发,需要使用时就可以根据配置文件进...
14555℃
摘要
版本格式:主版本号.次版本号.修订号,版本号递增规则如下:
主版本号:当你做了不兼容的 API 修改,
次版本号:当你做了向下兼容的功能性新增,
修订号:当你做了向下兼容的问题修正。
先行版本号及版本编译元数据可以加到“主版本号.次版本号.修订号”的后面,作为延伸。
简...
7098℃
1.nohup
用途:不挂断地运行命令。
语法:nohup Command [ Arg … ] [ & ]
无论是否将 nohup 命令的输出重定向到终端,输出都将附加到当前目录的 nohup.out 文件中。
如果当前目录的 nohup.out 文件不可写,输出重定向到...
11382℃
如果已经docker已经运行,但是发现需要新增加一个映射端口,应该如下做:
1 查看容器
docker ps -a
2 停止容器
docker stop f503
3 停止docker服务
systemctl stop docker
4 修改文件
...
16049℃
需求:让程序在后台跑后,不会占据终端,我们可以用终端做别的事情
使用nohup和&使程序在后台运行
命令格式:nohup Command [ Arg … ] [ & ]
比如:
nohup ./test > out.log 2>&1 &...
11678℃
mysql 用 group by 查询时,会自动保留 对应组 ‘最先搜索出来的数据’,但这时数据可能不是最新的
如何才能获取‘最新数据’ 呢,这需要根据mysql的版本来“区别对待”
原因:在mysql5.7中,如果不加limit,系统会把order by优化掉。
在mysq...
10582℃
beego 相比 gin 来讲,感觉在开发 web 上要好用的多,当然这只是个人感觉。
beego 的文档推荐:https://www.kancloud.cn/hello123/beego
但是在 bee run 的时候出现“Failed to watch directory: ...
10703℃
Go 语言中的结构体是由一系列具有相同类型或不同类型的数据构成的数据集合,可以理解为一个数组,我们可以为结构体中不同项定义不同的数据类型。
结构体表示一项记录,接下来的例子我们用图书来举例,每本书有以下属性:Title :标题,Author : 作者,Subject:学科 ,ID...
6000℃
很多程序员都需要用到正则表达式,它可以帮助开发者很好的判断一个字符串是否合法:
比如判断一个手机号的格式是否正确
手机号码的匹配
填写的邮箱格式是否正确
但是呢,国内手机号的匹配还是有点难度,不仅有三大运营商,这三大运营商还经常推出一些新号段,因此判断手机格式还是有点复杂的
...
10136℃
这里只是简单实现,由于是初次接触go并且还要部署在docker上(docker也是接触不久),所以经过了无数次的搭建,出现过无数次的错误,终于搭建了一个最简单的版本,接下来会在这个简单的基础上进行一些功能的安装和设定。
部署过程中碰到的最大问题就是 docker ps -a 下...
13825℃