我国目前并未出台专门针对网络爬虫技术的法律规范，但在司法实践中，相关判决已屡见不鲜，K 哥特设了“K哥爬虫普法”专栏，本栏目通过对真实案例的分析，旨在提高广大爬虫工程师的法律意识，知晓如何合法合规利用爬虫技术，警钟长鸣，做一个守法、护法、有原则的技术人员。
江苏省无锡市梁溪区人民法院审结了一起提供侵入计算机信息系统程序罪案件，也就是网上传遍的“首例短视频平台领域网络爬虫案”，案情原文（源自最高人民法院）：https://mp.weixin.qq.com/s/P8j_XEiqoEkcerV-tpiIVQ
2021年9月，丁某在网上结识了丁某某，丁某某表示其有一款“爬虫”软件可以获取某短视频平台用户数据，通过输入关键词搜索，可以快速抓取用户信息，主要包括用户名、评论、账户UID等。如果丁某感兴趣，可以购买代理权，做软件的推广，从中赚取差价。
丁某在试用后觉得不错，便决定代理，并对软件“改头换面”后对外进行销售。
某信息公司员工吴先生在网上巡查时发现有人在兜售一款“爬虫”软件，该软件居然可以“爬取”自己公司后台数据和直播间用户的相关信息，随即报警。经侦查，公安机关很快锁定了丁某。
梁溪法院经审理查明，被告人丁某在经营公司期间，从丁某某（另案处理）处购买一款“爬虫”软件代理权后，在明知该款软件系未经授权、专门用于入侵某短视频服务器后非法获取用户昵称、UID 等数据的情况下对外销售。2021年10月至12月期间，丁某组织公司销售人员通过网络向多人销售上述软件，违法所得共计24360元。
法院认为，被告人丁某伙同他人提供专门用于侵入计算机信息系统的程序，情节严重，其行为已构成提供侵入计算机信息系统程序罪。最后，法院判处被告人丁某有期徒刑1年6个月，缓刑2年，并处罚金3万元，没收丁某的违法所得。同时，禁止丁某在缓刑考验期内从事互联网相关经营活动。
根据视频中梁溪公安局网安大队民警介绍，被告主要是用这款软件抓取了直播间的用户昵称、UID 等信息，通过这些信息去精准联系客户，进行精准营销，视频中展示了该爬虫的相关功能，虽然不是很清晰，但还是可以依稀看到主要有以下信息：UID、SEC_UID、抖音号、姓名、性别、消费总数、排名、消费等级等，此外还有采集视频、采集同城视频、查询用户、搜索用户、监控粉丝/评论、监控用户作品、热门话题、采集好物、采集直播榜单、采集直播间弹幕等等，值得注意的是，视频中我们看到软件采集的姓名，包含了一些特殊符号、字符串也很长，可以猜测并不是用户真实姓名，有可能是昵称之类的。
作为程序员，相信大家都看得出来案情中描述的入侵短视频服务器这种说法，实际上并不是一种专业的描述，“入侵”应该是黑客行为，目的是拿到一些内部人员、或者需要权限才能拿到的信息，而本案中 UID、昵称等信息，事实上打开浏览器自带的开发者工具，抓包到接口就可以直接看到的，所以并不存在“入侵”这种说法，突破反爬措施，破解请求参数，这种说法更合理一些。值得注意的是，法院判决是非法侵入计算机，按道理来说侵入的是短视频平台的服务器，然而本案中，全程并没有看到短视频平台的官方人员介入，也没有看到短视频平台向警方提供了什么有力的入侵证据，难道就凭借一个软件就判断入侵了对方服务器吗？这显然是不合理的。
从工程师的角度来说，本案的重点其实应该是采集了用户信息之后，去精准联系客户，进行精准营销，这相当于侵犯了公民个人隐私，K哥认为本案判处侵犯公民个人信息罪更加合理，本案在网上的文章有很多，大多是一些非技术人员编辑的，文章弱化了对精准联系客户、精准营销的描述，过于强调了爬虫，并且使用了不专业的“入侵”词汇来描述爬虫。
对于爬虫工程师来讲，凡是涉及到个人信息，哪怕是虚拟的个人信息（指用户在互联网产品上的唯一标识、昵称等信息），都得注意，一旦你的业务涉及到个人信息数据，或者通过这些数据盈利，或者通过这些数据对人家造成骚扰，那么必然是违法的，在个人信息方面一定要有这个意识。
而且还有一点需要注意，本案中报警的人是公司员工，甚至不是公司发现了爬虫行为进行报警，即只要你的爬虫行为切实侵犯了个人隐私、他人利益，那么无论是数据的发布方，又或者是数据的生产者，都可以对工程师进行举报，所以谨记，爬虫切勿违法违规操作！
我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时，它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器？这是不可能的吗？谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..
最近，当我启动我的Rails服务器时，我收到了一长串警告。虽然它不影响我的应用程序，但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次？当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗？/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru
在Rails4.0.2中，我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常，但在生产环境中它会抛出如下错误，ActionView::Template::Error(noimplicitconversionofnilintoString)在View中，create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo
您如何在Rails中的实时服务器上进行有效调试，无论是在测试版/生产服务器上？我试过直接在服务器上修改文件，然后重启应用，但是修改好像没有生效，或者需要很长时间(缓存？)我也试过在本地做“脚本/服务器生产”，但是那很慢另一种选择是编码和部署，但效率很低。有人对他们如何有效地做到这一点有任何见解吗？ 最佳答案 我会回答你的问题，即使我不同意这种热修补服务器代码的方式:)首先，你真的确定你已经重启了服务器吗？您可以通过跟踪日志文件来检查它。您更改的代码显示的View可能会被缓存。缓存页面位于tmp/cache文件夹下。您可以尝试手动删除
动漫制作技巧是很多新人想了解的问题，今天小编就来解答与大家分享一下动漫制作流程，为了帮助有兴趣的同学理解，大多数人会选择动漫培训机构，那么今天小编就带大家来看看动漫制作要掌握哪些技巧？一、动漫作品首先完成草图设计和原型制作。设计草图要有目的、有对象、有步骤、要形象、要简单、符合实际。设计图要一致性，以保证制作的顺利进行。二、原型制作是根据设计图纸和制作材料，可以是手绘也可以是3d软件创建。在此步骤中，要注意的问题是色彩和平面布局。三、动漫制作制作完成后，加工成型。完成不同的表现形式后，就要对设计稿进行加工处理，使加工的难易度降低，并得到一些基本准确的概念，以便于后续的大样、准确的尺寸制定。四、
2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p
Transformers开始在视频识别领域的“猪突猛进”，各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解，本篇主要介绍了FBAI团队的TimeSformer，这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用，就请点赞、收藏、关注！paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图
require"socket"server="irc.rizon.net"port="6667"nick="RubyIRCBot"channel="#0x40"s=TCPSocket.open(server,port)s.print("USERTesting",0)s.print("NICK#{nick}",0)s.print("JOIN#{channel}",0)这个IRC机器人没有连接到IRC服务器，我做错了什么？ 最佳答案 失败并显示此消息::irc.shakeababy.net461*USER:Notenoughparame
我有一个使用PDFKit呈现网页的pdf版本的Rails应用程序。我使用Thin作为开发服务器。问题是当我处于开发模式时。当我使用“bundleexecrailss”启动我的服务器并尝试呈现任何PDF时，整个过程会陷入僵局，因为当您呈现PDF时，会向服务器请求一些额外的资源，如图像和css，看起来只有一个线程.如何配置Rails开发服务器以运行多个工作线程？非常感谢。 最佳答案 我找到的最简单的解决方案是unicorn.geminstallunicorn创建一个unicorn.conf:worker_processes3然后使用它:
我的Rails应用程序中安装了carrierwave。但是，当用户上传多页pdf时，我只希望应用程序获取文档中的第一页并将其转换为jpeg。这可能吗？用什么命令？这是我的uploader。#encoding:utf-8classImageUploader[200,300]##defscale(width,height)##dosomething#end#Createdifferentversionsofyouruploadedfiles:version:thumbdoprocess:resize_to_fill=>[150,210]process:convert=>:jpgdefful
