本文目录一览：
只因写了一段爬虫，公司200多人被抓，爬虫究竟是否违法？
01.技术纯真
许多朋友向我传达了一个信息：技术是无辜的，技术本身没有对与错，但是使用技术的人是对还是错。如果公司或程序员知道使用其技术是非法的，则公司或个人需要为此付出代价。
在今年颁布了《中华人民共和国网络安全法》之后，许多以前处于灰色地带的企业无法开展。
您看不到以前非常流行的各种社会工作者网站。现在大多数人都消失了吗？因为最新的安全法强调出售超过50条个人信息属于“严重情况”，需要履行其法律责任。
许多草根网站管理员主动关闭了该网站。目前有很多涉及版权信息的网站，如书籍，影视剧，课程等，在后期也将面临越来越严格的审查。
02.哪种爬虫是非法的？
爬虫不能是私人的！
如果爬虫程序收集了诸如公民的姓名，身份证号码，通讯联系信息，地址，密码，财产状态，轨道等个人信息，并以非法方式使用它，则绝对构成非法获取信息的行为。公民的个人信息。
就是说，您爬网信息没有问题，但是不会涉及个人隐私。如果涉及并通过非法手段获得收益，那么它必定是非法的。
此外，在以下三种情况下，爬行动物可能是非法的，严重的，甚至构成犯罪：
如果爬虫程序逃避了网站运营商设置的反爬虫措施或违反了服务器的反捕获措施以非法获取相关信息，情节严重，则可能构成非法获取计算机信息数据的犯罪行为。系统。
如果搜寻器程序干扰了所访问的网站或系统的正常运行并造成了严重后果，则将违反刑法，并构成“破坏计算机信息系统”的罪行。
如果爬虫收集的信息属于公民的个人信息，则可能构成非法获取公民的个人信息的非法行为。如果情况严重，可能构成侵犯公民个人信息的罪行。
现在，Internet上有许多付费课程，例如极客时间，知识星球等。如果这些付费内部信息被非法爬网出售并从中获利，则属于违法行为。
在遇见网民之前，我抢了各种知识之星的内容，并自行出售。我觉得我找到了一个巨大的商机。实际上，我不知道这种行为实际上是非常危险的，风险和收益显然是不平等的。
当我看到这两天时，他的一个公共电话号码被密封了，后来他转了个喇叭继续做下去。迟早他被封锁了。最可怜的是那些购买他的服务的人，因为当他做广告时，他承诺他永远也做不到。
03.哪种爬虫合法？
1.遵守机器人协议
机械手协议，也称为robots.txt（统一的小写字母），是存储在网站根目录中的ASCII文本文件。它通常告诉网络搜索引擎的漫游者（也称为网络蜘蛛），该网站上的哪些内容不应由搜索引擎的漫游者获取，而漫游者可以获取哪些内容。
漫游器协议旨在告诉抓取工具哪些信息可以被抓取，哪些信息不能被抓取。严格按照漫游器协议爬网与网站相关的信息通常不会造成太多问题。
2.不要使另一台服务器瘫痪
但这并不意味着只要爬虫遵守机器人协议，就不会有问题。还涉及两个因素。首先是大型爬网程序无法使另一端的服务器瘫痪，这相当于网络攻击。
在国家互联网信息办公室于2019年5月28日发布的数据安全管理措施（征求意见稿）中，建议以行政法规的形式限制爬行动物的使用：
网络运营商应采用自动方式访问和收集网站数据，不得妨碍网站的正常运行；此类行为严重影响网站的运行，例如自动访问收集流量超过网站每日平均流量的三分之一，并且在要求停止自动访问收集时网站应停止。
3.无非法利润
恶意使用爬虫技术来获取数据，抢占不正当竞争优势甚至谋取非法利益可能是违法的。实际上，由于非法使用爬虫技术来捕获数据而引起的纠纷数量并不大，其中大多数是基于不正当竞争而提起诉讼的。
例如，如果您获取了公众评论上的所有公共信息，则您复制了一个相似的网站并从该网站中获得了很多利润。这也是一个问题。
一般来说，爬虫是为企业造福的。因此，爬虫开发者的道德自力更生和企业管理者的良知对于避免触及法律底线至关重要。
北京警方揪出用“爬虫”盗数据的团伙，涉案人员将受到怎样的惩罚？
情节较轻者会被判处三年以下有期徒刑，情节严重者会被判处三年以上七年以下的有期徒刑。“爬虫”就是一种网络上的虫子，它可以在各大卖货直播间溜达，从而窃取消费者的个人信息。控制“爬虫”的人拿到信息之后可以选择售卖，也可以自己留下从而进行非法活动。
我们在生活中会经常收到一些垃圾短信以及广告电话，这都是我们的个人信息被泄露出去的原因。现在有很多人都说要保护好自己的信息不要外泄，但是我们在下载任何软件的时候都要求我们进行实名注册，这个时候我们的身份证信息，手机号码甚至是银行卡号都有可能被泄露出去，所以信息泄露已经在所难免了。现在都是实名网络，这也是对于我们的一种保护，如果上网的人都不需要进行实名注册，那么我们在网上上当受骗警方都追查不到对方是谁。
警方发现到数据团伙也是来自市民的举报，某购物网站发现直播间经常会出现一阵一阵的人流量剧增，但是很快就又下去了，这种情况非常不正常，因此向警方寻求了帮助。警察在调查的过程中发现这是一伙利用“爬虫”窃取消费者个人信息，从而贩卖信息赚取收益。经过警方的调查最终将这一犯罪团伙捉拿归案。
但是，窃取的信息已经全部泄露了出去，这就是导致我们在生活中也要防止电信诈骗，陌生的来电已经要慎重的接起，不要轻易地相信电话中他们所说地话，一定要坚信一点，如果某个单位需要找你的时候一定不是通过电话形式进行通传的。我们在生活中也要积累一些防骗小知识，因为骗子的手段是需要更新的。
以上是我自己的观点。
网络爬虫抓取数据 有什么好的应用
一般抓数据的话可以学习Python，但是这个需要代码的知识。
如果是没有代码知识的小白可以试试用成熟的采集器。
目前市面比较成熟的有八爪鱼，后羿等等，但是我个人习惯八爪鱼的界面，用起来也好上手，主要是他家的教程容易看懂。可以试试。