Linux之常用系统工作命令
前言最近开始了 Linux 的学习，打算将每天学习的东西记下来，将知识内化输出。这个系列估计会更新很久，敬请期待~
我使用的是 Centos 7，是当今主流操作系统。Linux系统是一款优秀的软件产品，具有类似UNIX的程序界面，而且继承了UNIX的稳定性，能够较好地满足工作需求。
为什么学Linu
...
爬虫Day17-解析库Xpath
Posted on
|
In
Python爬虫
前言我们在之前介绍如何解析响应数据时讲到了 BeautifulSoup 这个解析库，传送门： 爬虫Day6-Beautiful介绍
但学习之后我们发现，BeautifulSoup 是依赖解析器的，在实际开发环境中，我们常常遇到一些特殊情况，例如编码格式导致解析时发现页面数据缺失等等情景。
这时候，除
...
爬虫Day16-文件数据存储
Posted on
|
In
Python爬虫
前言关于数据存储，我们之前已经讲了数据库的存储： 爬虫Day7-Mysql的那些事 ，还有 爬虫Day13-Mongodb存储
但是对于一些小型的文件，我们可以使用多种格式类型的文件保存到本地，相对于数据库来说，比较便捷。今天介绍的是有关文件数据存储的相关内容。
文本存储将数据保存到 TXT 文
...
爬虫Day15-识别图形验证码
Posted on
|
In
Python爬虫
前言上一篇的模拟登陆 爬虫Day14-模拟登陆Github 提到，具体的反爬手段还有验证码，而验证码又分为很多类：图形验证码、极验滑动验证码、点触验证码等等。对于简单的验证码，我们可以利用脚本识别，如果是比较复杂的验证码，建议外接到打码平台，省时省力。
今天我们要讲的是图形验证码。
环境准备
...
爬虫Day14-模拟登陆Github
Posted on
|
In
Python爬虫
前言爬虫中比较重要的一环，当然是模拟登陆了，期间可能会遇到验证码等反爬行为，今天要讲的模拟登陆Github，是比较简单的类型：构建请求参数。但这也是最为常见的登陆形式。
我们知道，要想登陆到站点，肯定交互了账号密码、Cookies值的设定等等
为了安全性考虑，大多数请求形式使用POST方式进行交互，
...
网络编程Day7-事件驱动模型
Posted on
|
In
网络编程
事件驱动性思想事件驱动模型不是什么具体的东西，而是一种“思想”。事件驱动编程是一种编程范式，这里程序的执行流由外部事件来决定。它的特点是包含一个事件循环，当外部事件发生时使用回调机制来触发相应的处理。
关于编程范式，在这里要说说传统编程和事件驱动型编程的区别：
传统编程传统的编程是如下线性模式的：
...
网络编程Day6-队列
Posted on
|
In
网络编程
前言上此我们讲到了线程： 网络编程Day3-子线程 ，那么多线程如何应用呢？
就是我们今天要讲的主题了——队列。
队列，是用来解决线程安全的一种“利器”，讲述队列之前，我们需要对一个模型进行了解。
生产者消费者模型生产者消费者模式是指通过一个容器来解决生产者和消费者的强耦合问题。
耦合： 用
...
爬虫Day13-Mongodb存储
Posted on
|
In
Python爬虫
前言之前我们讲过关于 mysql 的数据存储：爬虫Day7-Mysql的那些事
对于爬虫的数据存储来说，一条数据可能存在某些字段提取失败而缺失的情况，而且数据可能随时调整，另外数据之间能还存在嵌套关系。如果我们使用了关系型数据库存储，一是需要提前建表，二是如果存在数据嵌套关系的话需要进行序列化操作才
...
网络编程Day5-全局解释器锁GIL
Posted on
|
In
网络编程
GIL （Global Interpreter Lock）Python代码执行由 Python 虚拟机 (又名解释器主循环) 进行控制。Python 在设计时是这样考虑的，在主循环中同时只能有一个控制线程在执行。对 Python 虚拟机的访问由全局解释器(GIL) 控制，这个锁用于确保当有多个线
...