网络日志
首页
问答
友情链接
登 录
Redis
站长
1年前
Redis
分布式爬虫原理之分布式爬虫原理
我们在前面已经实现了Scrapy微博爬虫,虽然爬虫是异步加多线程的,但是我们只能在一台主机上运行,所以爬取效率还是有限的,分布式爬虫则是将多台主机组合起来,共同完成一个爬取任务,这将大大提高爬取的效率。一、分布式爬虫架构在了解分布式爬虫架构之前,首先回顾一下Scrapy的架构,如下图所示。Scrapy单机爬虫中有一个本地爬取队列Queue,这个队列是利用deque模块实现的。如果新的Request
412
0
0
站长
1年前
Redis
一文彻底理解Redis序列化协议,你也可以编写Redis客户端
前提最近学习的时候想做一个基于服务协议的编码解码模块,过程中顺便阅读了服务序列化协议,结合自己的理解对文档进行了翻译并且简单实现了基于语言的解析。编写本文的使用使用的版本为。RESP简介客户端与服务端基于一个称作的协议进行通信,全称为,也就是序列化协议。虽然为设计,但是它也可以应用在其他客户端-服务端()的软件项目中。在设计的时候折中考虑了如下几点:可以序列化不同的数据类型,如整型、字符串、数组还
74
1
0
站长
4个月前
Redis
Redis 在 vivo 推送平台的应用与优化实践推送平台的特点是并发高、消息量大、送达及时性较高。系统设计中采用Red
一、推送平台特点vivo推送平台是vivo公司向开发者提供的消息推送服务,通过在云端与客户端之间建立一条稳定、可靠的长连接,为开发者提供向客户端应用实时推送消息的服务,支持百亿级的通知/消息推送,秒级触达移动用户。推送平台的特点是并发高、消息量大、送达及时性较高。目前现状最高推送速度140w/s,单日最大消息量150亿,端到端秒级在线送达率99.9%。二、推送平台Redis使用介绍基于vivo推送
95
0
0
站长
4个月前
Redis
基于电商中台架构-商品系统设计(二):类目设计类目简单来说就是商品的分类,用大家最常用的淘宝来看,就是图中圈出来的地方。
一、概念定义1.什么是类目类目简单来说就是商品的分类,用大家最常用的淘宝来看,就是图中圈出来的地方。为什么会有类目,也是其功能决定的,类目目前已经作为电商网站导航的标配,只是不同网站的类目不同罢了。如果我们的网站只有几十个、上百个商品,或许类目对于我们来说不重要,但是如果商品有成千上万个,甚至更多,那类目对我们来找到具有某些特点的商品就至关重要了。比如现在要找女式牛仔裤,可以通过类目女装->牛仔裤
90
0
0
站长
4个月前
Redis
探索Redis集群:(一)集群的构成与节点关系 计划用两周的时间,写一点Redis Cluster的相关内容。既然是集群
计划用两周的时间,写一点RedisCluster的相关内容。既然是集群,自然就需要解答以下几个基本问题:准备知识什么是RedisCluster开始之前,先了解下什么是,节选这篇文章进行解答下Redis集群是Redis的一个分布式实现,它自动将数据分片(即分区)到多个Redis节点上。没有人能预测他们的Redis数据库将消耗多少资源。这意味着在高需求时期能够适当地扩展Redis数据库是至关重要的。可
85
0
0
站长
4个月前
Redis
Redis 入门 - 五大基础类型及其指令学习学习Redis基础类型:字符串、集合、有序集合、列表、哈希,每种类型有各自
经过前面Redis入门系列三篇文章学习,相信大家已经准备好学习新知识了,到这里也算是真正开始学习Redis了。学习了软件安装,客户端选择,那么接下来也应该来了解Redis有什么,能干什么。我们在第一章中就说过,Redis支持丰富的数据类型,今天我们就来学习Redis五种基础类型:字符串(String)、集合(Set)、有序集合(SortedSet)、列表(List)、哈希(Hash)。01、字符串
100
0
0
站长
4个月前
Redis
Redis 入门 - 图形化管理工具如何选择,最全分类Redis图形化管理工具可分为四类:命令行工具、桌面客户端工具、网
工欲善其事必先利其器,上一章Redis服务环境已经搭建完成,现在就需要一个趁手的工具,有个好工具可以做到事半功倍。Redis图形化管理工具五花八门,可供选择的很多,大家可以根据自己的需求应用场景进行选择。就是因为选择过多所以才写了这篇文章,和大家分享下到底有哪些工具可供选择,好给大家提供一个选择方向,节省选择时间。Redis图形化管理工具大致可以分成以下四类:命令行工具、桌面客户端工具、网页工具、
93
0
0
站长
4个月前
Redis
Redis Time Series 数据结构详解与Java实现本文介绍了使用Redis的Time Series数据结构进
时间序列数据在现代应用中非常常见,如监控系统、物联网数据、金融市场数据等。Redis的TimeSeries数据结构提供了一种高效的方式来处理和存储这些数据。本文将介绍如何使用Redis的TimeSeries数据结构,并通过Java代码示例展示其具体应用。一,什么是时间序列数据?时间序列数据是指按时间顺序排列的一系列数据点,通常由时间戳和对应的数值组成。常见的时间序列数据包括:二,RedisTime
108
0
0
站长
4个月前
Redis
Redis JSON数据结构详解及Java实现Redis JSON数据结构提供灵活高效的方式来存储和操作复杂的嵌套数据,
Redis不仅是一个高性能的键值存储数据库,还提供了丰富的数据结构支持,其中包括RedisJSON模块。RedisJSON允许用户以JSON格式存储和操作数据,使得Redis不仅适用于简单的键值对存储,还能处理复杂的嵌套数据结构。本文将介绍如何使用Redis的JSON数据结构,并通过Java代码示例展示其具体应用。一,RedisJSON的优势二,示例代码:使用Java操作RedisJSON数据结构
105
0
0
站长
4个月前
Redis
一文搞懂RedisRedis数据类型丰富,速度快,可用性高。其数据类型丰富,内存管理机制完善,数据一致性高,支持多种编程
作者:京东物流刘丽侠姚再毅康睿刘斌李振一、Redis的特性1.1Redis为什么快?1.2Redis其他特性1.3Redis高可用二、Redis数据类型以及使用场景Redis的数据类型有String、Hash、Set、List、Zset、bitMap(基于String类型)、Hyperloglog(基于String类型)、Geo(地理位置)、Streams流。2.1String2.1.1基本指令2
94
0
0