七叶笔记 » golang编程 » 一篇文章教你搞定缓存中间件，搞不定提刀来见我

一篇文章教你搞定缓存中间件，搞不定提刀来见我

分类: golang编程 | 浏览: 371

MemCached总结有福利

1、MemCached介绍
MemCached是一种基于内存的key-value存储，用来存储小块的任意数据（字符串、对象）。它便于快速开发，减轻开发难度，解决了大数据量缓存的很多问题，本质上，它是一个简洁的key-value存储系统

2、MemCached工作原理
主要通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度。见下图：

1、Redis简介

Redis 是完全开源免费的，是一个高性能的key-value数据库。

是以key-value形式存储，和传统的关系型数据库不一样，不一定遵循传统数据库的一些基本要求。

优点：

  • 对数据高并发读写
  • 对海量数据的高效率存储和访问
  • 对数据的可扩展性和高可用行

缺点：

redis(ACID)处理非常简单

  • 无法做到太复杂的关系数据库模型
  • Redis 是以key-value store存储，data structure service 数据结构服务器，键可以包含：（string）字符串、哈希、链表(list)、（set）集合。（Zset）有序集合。这些数据结合都支持pysh/pop、add/remove

2、Linux下安装Redis

下载地址：
（1）下载并安装： 

 $ wget  $ tar xzf redis-4.0.10.tar.gz $ cd redis-4.0.10 $ make

（2）启动redis服务 

 $ cd src $ ./redis-server

（3）使用redis客户端 

 $ cd src $ ./redis-cli redis> set companyName G7 OK redis> get companyName "G7"

3、Java使用Redis 

 import redis.clients.jedis.Jedis;
 import java.util.*;
 /** 
* Created by pc on 2018/7/23. 
* Redis数据类型
 */ 
public class RedisDemo
 { 
    //String
 public static void redisString(){ 
    //连接 Redis 服务
  System.out.println("连接成功");
 //查看服务是否运行 
System.out.println("Server is running: " + jedis.ping());
 //设置 redis 字符串数据
 jedis.set("runoobkey", "www.runoob.com"); 
// 获取存储的数据并输出 
System.out.println("redis 存储的字符串为: "+ jedis.get("runoobkey")); } 
//l
ist public static void redisList(){ 
//连接 Redis 服务 
Jedis jedis = new Jedis("172.16.*.**",6379); 
System.out.println("连接成功");
 //存储数据到列表中 
jedis.lpush("site-list", "Baidu"); 
jedis.lpush("site-list", "Google"); 
jedis.lpush("site-list", "Taobao"); 
// 获取存储的数据并输出 
List<String> list = jedis.lrange("site-list", 0 ,2);
 for(int i=0; i<list.size(); i++) { 
System.out.println("列表项为: "+list.get(i)); 
}
 }
 //set 
public static void redisSet(){
 //连接 Redis 服务
 Jedis jedis = new Jedis("172.16.*.**",6379);
 System.out.println("连接成功");
 //存入set的值 
Long mySet = jedis.sadd("websites", "Baidu", "Taobao", "Google"); 
//获取set的值
 Set<String> website = jedis.smembers("websites"); 
Iterator<String> it = website.iterator(); 
while(it.hasNext()){
 System.out.println(it.next()); 
} 
}
 //hash
 public static void redisHash(){
 //连接 Redis 服务 
Jedis jedis = new Jedis("172.16.*.**",6379); 
System.out.println("连接成功");
 Map<String, String> hashMap = new HashMap<>(); 
hashMap.put("Baidu","www.baidu.com"); 
hashMap.put("Taobao","www.taobao.com"); 
hashMap.put("Google","www.google.com"); 
jedis.hmset("website", hashMap); 
System.out.println(jedis.hgetAll("website"));
 } 
public static void main(String[] args) {
 redisString();
 //   redisList();
 //   redisSet(); 
//  redisHash();
 }
 }

运行后，如下图：

4、Redis缓存策略

（比较常用的缓存策略，同样这也是facebook的缓存策略：
1. 读：应用程序从cache中取数据，取到后返回。
2. 读：应用程序先从cache取数据，没有得到，则从数据库中取数据，成功后，放到缓存中。
3. 增删改：先把数据存到数据库中，成功后，再让缓存失效。
这里针对第3点，会有一些其他的用法，乍一看都是很正常的，但后来细细一想其实都是有问题的。
比如（1）“先更新redis，然后更新DB”
（2）“先更新DB，然后更新缓存”
（3）“先删除缓存，然后再更新数据库”

5、有问题的几种更新缓存策略

（1）先更新缓存，然后更新DB。见下图

从图中可以看出，两个并发写操作，由于某些原因（io阻塞，cpu时间片分配，协程调度，网络原因等等），导致Thread2的更新DB晚于Thread1的更新DB，但是Redis中此时的数据Thread1的，而DB中的数据时Thread2的，这就出现了不一致的问题，DB中是脏数据

（2）先更新DB，然后更新缓存。见下图：

从图中可以看出，两个并发写操作，由于某些原因导致Thread2的更新Redis晚于Thread1的更新Redis ，但是DB中此时的数据Thread1的，而Redis中的数据时Thread2的，这就出现了不一致的问题

（3）先删除缓存，然后再更新数据库。见下图：

两个并发操作，一个是更新操作，另一个是查询操作，更新操作删除缓存后，查询操作没有命中缓存，会把老数据读出来后放到缓存中，然后更新操作更新了DB。于是，在缓存中的数据还是老的数据，导致缓存中的数据是脏的

（4）先数据库，成功之后，让缓存失效，下次请求时从缓存中拿不到，则查询数据库，再放入缓存。见下图：

这种更新策略是我们实际最常用的，但也可能出现问题。实际上出现问题的概率可能非常低，因为这个条件需要发生在读缓存时缓存失效，而且并发着有一个写操作。而实际上数据库的写操作会比读操作慢得多，而且还要锁表，而读操作必需在写操作前进入数据库操作，而又要晚于写操作更新缓存，所有的这些条件都具备的概率基本并不大。

6、Redis与MemCached的区别

传统MySQL+ Memcached架构遇到的问题

　　实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题：

　　1.MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。

　　2.Memcached与MySQL数据库数据一致性问题。

　　3.Memcached数据命中率低或down机，大量访问直接穿透到DB，MySQL无法支撑。

　　4.跨机房cache同步问题。

　　众多NoSQL百花齐放，如何选择

　　最近几年，业界不断涌现出很多各种各样的NoSQL产品，那么如何才能正确地使用好这些产品，最大化地发挥其长处，是我们需要深入研究和思考的问题，实际归根结底最重要的是了解这些产品的定位，并且了解到每款产品的tradeoffs，在实际应用中做到扬长避短

总结；文章内容仅代表个人观点，如有不正之处，欢迎批评指正，谢谢大家。

不积跬步无以至千里，学习C/C++，Linux，Nginx，golang，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，ffmpeg，流媒体， 音视频，CDN，P2P，K8S，Docker，Golang,TCP/IP，协程，嵌入式，ARM，DPDK等等。。。

可以后台私信‘资料’即可领取相关学习资料

相关文章