Loading...
本文翻译自 MIXU's BLOG 的文章 《Understanding the node.js event loop》关于 Node.js 有一个基本的共识就是,I/O 的消耗是非常大的。当前编程技术中,消耗最大的部分来自于等待 I/O 完成,以下有几种方法可以解决性能影响:同步:每次只处理一个请求,依次处理。优点:简单;缺点:任何一个请求都会阻塞其他所有请求。多进程:对于每一个请求,都开...
npm(Node Package Manager)意思是 node 的包管理器。常用的命令整理如下:1. 查询信息npm -v ,查看当前 npm 版本。-v 可替换为 -version 。npm -h ,查看帮助信息,命令后加 -h 可以查看当前命令的用法。-h 可替换为 -help 。npm info ,查看模块的详细信息。info 可替换为 view。npm view xxx vers...
本文翻译自 Felix Geisendörfer 的博客文章《Understanding node.js》。当我向别人介绍 Node.js 时,人们通常有两种反应,要么很快就理解了,要么最终还是很困惑。如果你属于后者,听听我对 Node 的解释:Node 是一个命令行工具,你可以用它来下载压缩包,编译和安装源代码。它可以运行 JavaScript 项目(通过在终端执行 node my_app...
本书致力于教会你如何用Node.js来开发应用,过程中会传授你所有所需的“高级”JavaScript知识。本书绝不是一本“Hello World”的教程。
1. 获取当前目录下的所有文件可以使用 os.listdir(path) 函数,它可以返回 path 指定的文件夹包含的 文件 或 文件夹 的名字的列表。使用方法如下:import os # 打开文件 path = "D://data/" dirs = os.listdir( path ) # 输出所有文件和文件夹 for file in dirs: print...
我们可能会遇到这样一种情况,有两个文件夹,里面大部分的文件相同,少部分不一致,我们需要找出两个目录下差异的文件。主要用到的函数为 os.wall() 和 shutil.copy() ,前者用来遍历文件夹,后者用来拷贝文件。1. 遍历目录os.walk() 函数的用法前一篇中讲过,这里用它将 path 路径下的所有文件遍历找到。fileList = [] for root, dirs, fil...
网络请求有两种方式 GET 和 POST ,在浏览器的开发者工具中,网络Network 模块可以很方便的抓取到网站发起的所有网络请求,在请求的详情信息中, Request Method 即表示该请求的方法是 GET 还是 POST。我们知道, 网络请求方式 GET 和 POST 最直观的区别就是,传递参数时候的不同,GET 把参数包含在 URL 中,POST 通过 request body ...
BS4 全称是 BeatifulSoup,它提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。我们可以通过它很方便的完成爬虫中的 html 解析工作。本文简单介绍一些 bs4 里常用的函数,可以应付大多数的情况。1. 定位标签首先,爬取之前需要定位到数据所在的标签,这个使用 F12 开发者工具中的这个按钮,点一下按钮,然后点一下网页,可以很快定位到页面中的相应标签,具...
1. 应尽量减少创建 C# 堆内存对象建议使用成员变量,或者 Pool 来规避高频创建 C# 堆内存对象的创建。而且堆内存对象创建本身就是个相对较慢的过程。2. 应为 struct 对象重载所有 object 函数为了普适性,C# 的 struct 的默认 Equals() 、GetHashCode() 和 ToString() 都是较慢实现,甚至涉及反射。用户自定义的 struct ,都应...
本文提供了一个简单的python小脚本,可以将浏览器中的headers部分一键格式化,可以极大的方便我们写爬虫时的工作。