本文章的主要内容如下：Redis简介Redis适用场景Redis的安装Redis数据类型与操作在Python中操作Redis——————————————目前，大型的爬虫系统采用的都是分布式爬取结构，即分布式爬虫。在分布式爬虫中，将爬取任务分配给多台计算机同时处理，相当于将多个单机联系起来形成一个整体来完成任务，这样可提高爬虫的可用性及稳定性。在分布式爬虫中通过消息队列将各个单机联系起来，而最常被用作消息队列的就是Redis。Redis简介Redis是一种基于键值对（key-value）的NoSQL数据库，与很多键值对数据库不同的是，Redis中的值由string（字符串）、hash（哈希）、list（列表）、set（集合）、zset（有序集合）、Bitmaps（位图）、HyperLogLog、GEO（地理信息定位）等多种数据结构和算法组成，因此Redis可以满足很多的应用场景，而且因为Redis会将所有数据都存放在内存中，所以读写性能非常好。不仅如此，Redis还可以将内存的数据利用快照和日志的形式保存到硬盘上，这样在发生类似断电或者故障的时候，内存中的数据不会“丢失”。除了上述功能以外，Redis还提供了键过期、发布订阅、事务、流水线、Lua脚本等附加功能。官方网站（英文）


转载请注明地址:http://www.papitia.com/ppttq/7638.html