本文目录一览：
爬虫爬https站点怎么处理的
百度搜索引擎爬虫如何发现HTTPS
1)、根据网页中的超链接是否是HTTPS，网络中会有一些超链，如果是HTTPS会认为是HTTPS站点。
2)、根据站长平台提交入口的提交方式，例如主动提交，如果在文件当中提交的是HTTPS链接会以HTTPS的形式来发现。
3)、参考前链的抓取相对路径，第一个网页是HTTPS的，网站内容里面的路径提供的是相对路径，会认为这种链接是HTTPS。
4)、参考链接的历史状况，使用这种方式的原因主要是为了纠错，如果错误提取HTTPS会遇到两种情况，一种因为HTTPS不可访问会抓取失败，第二即使能抓成功可能展现出来的可能不是站长希望的，所以会有一定的纠错。
2、HTTPS链接的抓取
现在比较常见的两种，第一种是纯HTTPS抓取，就是它没有HTTP的版本，第二个是通过HTTP重定向到HTTPS，这两种都能正常的进行抓取跟HTTP抓取的效果是一样的。
详细介绍：网页链接
怎么入侵https网站修改个人信息
入侵这个词过于残暴了，你可以联系网站管理员，https网站是因为经过ssl证书加密的，说明你的访问更加安全可信
使用HTTPS的网站也能被黑客监听到数据吗？
HTTPS不是牢不可破的。使用HTTPS的网站当然也能被黑客监听到数据。我们就以抓取今日头条PC版和APP来演示一下抓取HTTPS包的方法。
一、电脑浏览器抓包，推荐用chrome浏览器。
我们以抓取以今日头条里的搜索海阳顶端头条号数据为例。用chrome打开然后在搜索框里输入海阳顶端四个汉字。先不要点搜索，按下F12，在右侧面板顶上选中Network，再点击搜索按扭。
你会看到我们已经抓取到了在今日头条上搜索海阳顶端的HTTP数据包。我们这次抓到是GET包，URL是：
如果你直接在浏览器里输入这些，会返回一些JSON数据:
{"message":"success","data":["海阳顶端","海阳顶端黑客教会你","海阳顶端给你准备好了"]}
里边的success，我们还是看得懂的。而且用chrome，无论是http的还是加密的https数据我们都能抓到。
二、手机抓取浏览器数据包，推荐用HttpInterceptor
我们不用网上教程中的burpsuite和fiddler，两个软件不仅全英文的，而且操作也麻烦，需要电脑和手机配合，我们只需一个HttpInterceptor，国人制作，并且只用一个手机就可以。下载地址是装这个软件之前，你需要手机先设定一个锁屏密码。
1、第一次进入程序需要安装CA证书以便进行HTTPS抓包（原理同fiddler，MITM中间人）。现在很多数据包都是https的了，我们必须做这步。安装后程序会让你点击确认按钮，屏幕Toast显示已安装即为成功，可访问进行测试。
2、全局抓包。上边做到的只能抓浏览器的包，要抓APP里的，好比抓今日头条APP的包呢？需要将代理手动修改至127.0.0.1:8888，可抓取别的APP的HTTP数据包。长按已连接的WIFI，修改网络，显示高级选项，修改代理服务器为手动，然后写入代理主机名和端口分别为127.0.0.1:8888。
3、一切修改完成后，我们不要关HttpInterceptor，打开今日头条APP后，随便看一篇文章，就在HttpInterceptor里看到抓取的数据了。 我看的是《如何用域名等资料反查企业信息？海阳顶端黑客教会你》这篇文章，这么好的文章，点击量怎么哪么低。我们点击HttpInterceptor主界面的个向上箭头的圆图标：
选中你抓取数据包的哪条URL，再点预览，就出详细数据包了。把这篇文章的参数看得很清楚啦。
这下子，电脑和手机里的浏览器（包括发送http数据的app）抓包你是不是会了呢？这篇文章本来在我的头条号里，我搬过来回答你一下，欢迎大家关注海阳顶端。
如何强制用户使用https来访问网站？
强制用户使用https来访问网站方法：
1、PHP的标准运行环境可以，在config.yaml加入以下rewrite规则：
- rewrite: if (%{REQ:X-Forwarded-Proto} != "https") goto "{HTTP_HOST}%{REQUEST_URI}"
2、用户通过HTTP访问网站的请求，重新定位到HTTPS请求上。首先，要将网站配置成HTTP和HTTPS都可以访问的模式，确保80和443端口全部打开，然后在那些必须通过https访问的页面的头部加入一个判断语句，逻辑如下：
If Request.ServerVariables("HTTPS")="off"
Then response.redirect "" Request.ServerVariables("PATH_INFO") response.end
End If
apache环境下，配置好https后，需要设置url重定向规则，使网站页面的http访问都自动转到https访问，但有一个页面例外。
（1）、先打开url重定向支持，然后打开Apache/conf/httpd.conf，找到 #LoadModule rewrite_module modules/mod_rewrite.so 去掉#号；
（2）找到你网站目录的Directory段，比如我的网站目录是c:/www，找到Directory "C:/www".../Directory，然后修改其中的 AllowOverride None 为 AllowOverride All；
（3）重启apache服务。