Loading...
大家好，我是机灵鹤。之前写了一篇关于软件授权码机制的文章，教大家如何给软件添加授权码机制，避免自己写的程序被别人随意传播，收到了不少读者朋友的好评。《如何用 Python 优雅地给程序添加授权码机制》本文将在之前版本的基础上进一步优化，给授权码增加有效期限制，即有效期内可以使用，过期则失效。实现授权码机制 V2.0 版本。1. 总体思路此版本的授权机制在总体思路上与前一版本相似，在授权流程的...
大家好，我是机灵鹤。前段时间完成了一个爬虫项目，完成了国内 13 个主流新闻网站的内容采集（根据关键词爬取）。包括中国日报网，中国新闻网，人民网，光明网，国际在线，央广网，央视网，中国网，凤凰网，网易新闻，新浪新闻，中国青年网，中青在线虽然 新闻网站 这种文字类的爬虫相对较为简单，但是爬取过程中仍然遇到了不少的坑，项目完成后也有不小的收获。现将自己的心得整理记录分享，希望对大家能有所帮助。0...
大家好，我是机灵鹤。前几天有个粉丝问我说，他写了一个蛮有意思的小程序，准备在网上发布，但是又担心程序在不受控制的情况下传播。想问我有没有办法整一个授权码机制，只有输入授权码才能使用软件，授权码过期或者更换机器都需要重新授权。真是蛮有意思又非常实用的一个小需求，以后如果想要分享自己的程序但又不希望自己的程序被随意传播的，都可以用得上。这里给大家简单分享一下我的实现方法，感兴趣的同学可以学起来。...
平时逛知乎的时候，经常能看到很多很棒的图片，精美的壁纸，搞笑的表情包，有趣的截图等等，总有想全部保存下来的冲动。于是在一个小老弟的拜托之下，我把之前的知乎爬虫改造了一下，改装成了一个可以下载知乎回答中全部图片的新爬虫。1. 分析网站知乎的网站我们已经爬取过很多次了《Python 网络爬虫实战：爬取知乎一个话题下的全部问题》《Python网络爬虫实战：爬取知乎话题下 18934 条回答数据》《...
我们知道，在抖音APP中下载到的视频是有水印的，这就催生出了很多抖音短视频去水印的解析网站，小程序等。所以说，抖音短视频去水印这个东西并不是什么新鲜玩意儿，甚至你可以很轻松的在网上搜到抖音去水印的程序源代码。本文主要是从爬虫程序的角度，讲解遇到这样的问题我们应该如何分析，如何抓包，如何一步步写出自己的爬虫，让大家明白去水印的接口是怎么找到的，网上的代码是怎么写出来的。我会尽量讲解细致一些，争...
前几天受一个粉丝所托，爬取《南方周末》网站上的新闻文章。要求也并不复杂，跟 人民日报爬虫 和 解放日报爬虫 类似。话不多说，我们直接开始。1. 分析网站南方周末，网站地址为：http://www.infzm.com/contents?term_id=1观察网站主页，我们可以了解到，网站左侧为 频道列表 ，中间为 新闻列表 。鼠标点击切换左侧的频道时，观察到浏览器地址栏中 term_id 的值...
前段时间受哥儿们所托，爬取贴吧某帖子里的高清图片。事情是这样的，我哥们发现被贴吧中有好多漂亮的图片，想下载原图做壁纸，但是帖子里图片太多了，他全都要，于是想让我帮忙写个爬虫，批量下载下来。要求只有两个：下载原图实现批量下载话不多说，直接开始。1. 分析网站哥们提供的帖子地址： https://tieba.baidu.com/p/6516084831 。先分析 url 组成，我们可以猜到 65...
中秋节马上到了，不知道大家有没有像我这样的烦恼，每次过节，都要绞尽脑汁想好久，发什么样的祝福语才显得有诚意又有创意，什么样的朋友圈文案会有文化又有逼格。去网上搜吧，搜出来的祝福语，画风大多是像这样的佛说：我可以让你许个愿我对佛说：我愿xxx永远健康，年轻快乐佛说：只能四天我说行，春天，夏天，秋天，冬天。佛说，不行，只能三天。我说，好，昨天，今天，明天。佛说，不行，只能两天我说，好，黑天和白天...
最近想跟女朋友换个情侣头像，找了一圈，终于在 小红书 里找到几个看上眼的，保存图片时，找了半天发现居然没有下载按钮！！！那可不可以分享呢，复制分享链接在浏览器中打开试了一下，这样可以保存图片了，但是图片是有水印的。可不可以下载到去水印的图片呢？我去网上简单搜索了一下，倒是搜到很多去水印的小程序，但是这些几乎都是有免费使用次数限制的，解析几次就不让用了，要充钱或者什么的，作为一名会爬虫的程序员...
昨天晚上，我一好哥儿们找我帮忙，他的一个课题中需要爬取《人民日报》中的文章，方便后续对文章内容进行分词，词性标注，词频统计等等一系列数据统计和分析。于是他便找到了我。关于爬虫的大致需求如下，我简单看了一下这个网站和他要爬的东西，难度不是很大，但涉及到的知识也挺全面的，正好拿来练练手，于是一口答应下来。写爬虫之前，先回顾一下爬取的思路。首先，要 明确自己要爬取什么内容，需求明确了，后面才能有的...