当前位置: 首页 > 分布式系统
  • 最近把亦庄实时标签5个redis实例全部升级到2.8.8版本,在这过程中主要遇到以下两个问题。一 :2.4.18到2.8.8主从复制失败,并且处于不断重试的过程中。二:主从同步结束后发现slave中的key的数量比master少很多。升级2.8.8注意事项:repl-backlog-ttl,repl-backlog-size,client-output-buffer-limitslave 设置要合理。redis 2.4版本key过期时间设置过长(如in32.max)导致slave中丢数据。解释了redis的slave过期策略的bug产生的原因。

    阅读全文
    redis, 分布式系统, 缓存系统 29 人阅读 抢沙发
  • 阿里分布式交易系统有三个阶段,第一阶段单元化,双活是它的第二个阶段,多活是第三个阶段。单元化项目最大的几个难点是:第一个是路由的一致性,第二个是挑战是数据的延时问题,第三个挑战保障某个点写进去的数据一定是正确的。

    阅读全文
    分布式系统 164 人阅读 抢沙发
  • HBase Rowkey的散列与预分区设计,解决热写和热读问题,随机散列与预分区。 hash就是rowkey前面由一串随机字符串组成,随机字符串生成方式可以由SHA或者MD5等方式生成,只要region所管理的start-end keys范围比较随机,那么就可以解决写热点问题。partition就是分区式,每个region管理着相应的区域数据。

    阅读全文
    分布式系统 212 人阅读 抢沙发 ,
  • 本文介绍了zookeeper常见问题:系统服务时间不对,导致ZooKeeper集群不可用;DiskIO过大或者IO不正常,导致ZooKeeper集群不稳定;ZooKeeper客户端导致内存溢出;ZooKeeper session过期时间以及watch的使用;大量的CLOSE_WAIT连接。

    阅读全文
    分布式系统 528 人阅读 抢沙发
  • jedis源码分为以下几方面。jedis对底层协议封装;面向用户使用的jedis;提供发布订阅功能;提供事务功能;pipeline功能;实现分布式功能的ShardedJedis。在实际项目中Redis分片应用,出现的坑描述。ShardedJedisPool销毁对象存在隐患描述。

    阅读全文
    redis, 分布式系统, 缓存系统 597 人阅读 抢沙发 ,
  • Jedis当前的connection读了部分数据到本地内存中,然后读超时后,并没有把这个connection对应的本地内存数据清空或者destory掉这个connection(有可能直接将该connection正常地return到pool里面了,而不是returnBrokenResource()),然后当前线程或者其他线程继续就用这个connection去做其他的操作,就会导致下次读取来的数据前面还夹杂着上次操作的数据,导致jedis内部无法正确解析成期望的类型。

    阅读全文
    redis, 分布式系统, 缓存系统 1,156 人阅读 抢沙发