Loading...
本文翻译自 MIXU's BLOG 的文章 《Understanding the node.js event loop》关于 Node.js 有一个基本的共识就是，I/O 的消耗是非常大的。当前编程技术中，消耗最大的部分来自于等待 I/O 完成，以下有几种方法可以解决性能影响：同步：每次只处理一个请求，依次处理。优点：简单；缺点：任何一个请求都会阻塞其他所有请求。多进程：对于每一个请求，都开...
npm（Node Package Manager）意思是 node 的包管理器。常用的命令整理如下：1. 查询信息npm -v ，查看当前 npm 版本。-v 可替换为 -version 。npm -h ，查看帮助信息，命令后加 -h 可以查看当前命令的用法。-h 可替换为 -help 。npm info ，查看模块的详细信息。info 可替换为 view。npm view xxx vers...
本文翻译自 Felix Geisendörfer 的博客文章《Understanding node.js》。当我向别人介绍 Node.js 时，人们通常有两种反应，要么很快就理解了，要么最终还是很困惑。如果你属于后者，听听我对 Node 的解释：Node 是一个命令行工具，你可以用它来下载压缩包，编译和安装源代码。它可以运行 JavaScript 项目（通过在终端执行 node my_app...
本书致力于教会你如何用Node.js来开发应用，过程中会传授你所有所需的“高级”JavaScript知识。本书绝不是一本“Hello World”的教程。
1. 获取当前目录下的所有文件可以使用 os.listdir(path) 函数，它可以返回 path 指定的文件夹包含的 文件 或 文件夹 的名字的列表。使用方法如下：import os # 打开文件 path = "D://data/" dirs = os.listdir( path ) # 输出所有文件和文件夹 for file in dirs: print...
我们可能会遇到这样一种情况，有两个文件夹，里面大部分的文件相同，少部分不一致，我们需要找出两个目录下差异的文件。主要用到的函数为 os.wall() 和 shutil.copy() ，前者用来遍历文件夹，后者用来拷贝文件。1. 遍历目录os.walk() 函数的用法前一篇中讲过，这里用它将 path 路径下的所有文件遍历找到。fileList = [] for root, dirs, fil...
网络请求有两种方式 GET 和 POST ，在浏览器的开发者工具中，网络Network 模块可以很方便的抓取到网站发起的所有网络请求，在请求的详情信息中， Request Method 即表示该请求的方法是 GET 还是 POST。我们知道， 网络请求方式 GET 和 POST 最直观的区别就是，传递参数时候的不同，GET 把参数包含在 URL 中，POST 通过 request body ...
BS4 全称是 BeatifulSoup，它提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。我们可以通过它很方便的完成爬虫中的 html 解析工作。本文简单介绍一些 bs4 里常用的函数，可以应付大多数的情况。1. 定位标签首先，爬取之前需要定位到数据所在的标签，这个使用 F12 开发者工具中的这个按钮，点一下按钮，然后点一下网页，可以很快定位到页面中的相应标签，具...
1. 应尽量减少创建 C# 堆内存对象建议使用成员变量，或者 Pool 来规避高频创建 C# 堆内存对象的创建。而且堆内存对象创建本身就是个相对较慢的过程。2. 应为 struct 对象重载所有 object 函数为了普适性，C# 的 struct 的默认 Equals() 、GetHashCode() 和 ToString() 都是较慢实现，甚至涉及反射。用户自定义的 struct ，都应...
本文提供了一个简单的python小脚本，可以将浏览器中的headers部分一键格式化，可以极大的方便我们写爬虫时的工作。