memcached

什么是memcached:

  1. memcached之前是danga的一个项目,最早是为LiveJournal服务的,当初设计师为了加速LiveJournal访问速度而开发的,后来被很多大型项目采用。官网是www.danga.com或者是memcached.org
  2. Memcached是一个高性能的分布式内存对象缓存系统,全世界有不少公司采用这个缓存项目来构建大负载的网站,来分担数据库的压力。Memcached是通过在内存里维护一个统一的巨大的hash表,memcached能存储各种各样的数据,包括图像、视频、文件、以及数据库检索的结果等。简单的说就是将数据调用到内存中,然后从内存中读取,从而大大提高读取速度。
  3. 哪些情况下适合使用Memcached:存储验证码(图形验证码、短信验证码)、登录session等所有不是至关重要的数据。

安装和启动memcached

  1. windows:

    • 安装:memcached.exe -d install
    • 启动:memcached.exe -d start
  2. linux(ubuntu):

    • 安装:sudo apt install memcached

    • 启动:

       cd /usr/local/memcached/bin
       ./memcached -d start
  3. 可能出现的问题:

    • 提示你没有权限:在打开cmd的时候,右键使用管理员身份运行。
    • 提示缺少pthreadGC2.dll文件:将pthreadGC2.dll文件拷贝到windows/System32.
    • 不要放在含有中文的路径下面。
  4. 启动memcached

    • -d:这个参数是让memcached在后台运行。
    • -m:指定占用多少内存。以M为单位,默认为64M
    • -p:指定占用的端口。默认端口是11211
    • -l:别的机器可以通过哪个ip地址连接到我这台服务器。如果是通过service memcached start的方式,那么只能通过本机连接。如果想要让别的机器连接,就必须设置-l 0.0.0.0

    如果想要使用以上参数来指定一些配置信息,那么不能使用service memcached start,而应该使用/usr/bin/memcached的方式来运行。比如/usr/bin/memcached -u memcache -m 1024 -p 11222 start

telnet操作memcached

telnet ip地址 [11211]
  1. 添加数据:

    • set

      • 语法:

        set key flas(是否压缩) timeout value_length
        value
      • 示例:

        set username 0 60 7
        zhiliao
    • add

      • 语法:

        add key flas(0) timeout value_length
        value
      • 示例:

        add username 0 60 7
        xiaotuo

      setadd的区别:add是只负责添加数据,不会去修改数据。如果添加的数据的key已经存在了,则添加失败,如果添加的key不存在,则添加成功。而set不同,如果memcached中不存在相同的key,则进行添加,如果存在,则替换。

  2. 获取数据:

    • 语法:

      get key
    • 示例:

      get username
  3. 删除数据:

    • 语法:

      delete key
    • 示例:

      delete username
    • flush_all:删除memcached中的所有数据。

  4. 查看memcached的当前状态:

    • 语法:stats

通过python操作memcached

  1. 安装:python-memcachedpip install python-memcached

  2. 建立连接:

    import memcache
    mc = memcache.Client(['127.0.0.1:11211','192.168.174.130:11211'],debug=True)
  3. 设置数据:

    mc.set('username','hello world',time=60*5)
    mc.set_multi({'email':'xxx@qq.com','telphone':'111111'},time=60*5)
  4. 获取数据:

    mc.get('telphone')
  5. 删除数据:

    mc.delete('email')
  6. 自增长:

    mc.incr('read_count')
  7. 自减少:

    mc.decr('read_count')

memcached的安全性:

memcached的操作不需要任何用户名和密码,只需要知道memcached服务器的ip地址和端口号即可。因此memcached使用的时候尤其要注意他的安全性。这里提供两种安全的解决方案。分别来进行讲解:

  1. 使用-l参数设置为只有本地可以连接:这种方式,就只能通过本机才能连接,别的机器都不能访问,可以达到最好的安全性。
  2. 使用防火墙,关闭11211端口,外面也不能访问。
    ufw enable # 开启防火墙
    ufw disable # 关闭防火墙
    ufw default deny # 防火墙以禁止的方式打开,默认是关闭那些没有开启的端口
    ufw deny 端口号 # 关闭某个端口
    ufw allow 端口号 # 开启某个端口

在Django中使用memcached:

首先需要在settings.py中配置好缓存:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION': '127.0.0.1:11211',
    }
}

如果想要使用多台机器,那么可以在LOCATION指定多个连接,示例代码如下:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION': [
            '172.19.26.240:11211',
            '172.19.26.242:11211',
        ]
    }
}

配置好memcached的缓存后,以后在代码中就可以使用以下代码来操作memcached了:

from django.core.cache import cache

def index(request):
    cache.set('abc','zhiliao',60)
    print(cache.get('abc'))
    response = HttpResponse('index')
    return response

需要注意的是,django在存储数据到memcached中的时候,不会将指定的key存储进去,而是会对key进行一些处理。比如会加一个前缀,会加一个版本号。如果想要自己加前缀,那么可以在settings.CACHES中添加KEY_FUNCTION参数:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION': '127.0.0.1:11211',
        'KEY_FUNCTION': lambda key,prefix_key,version:"django:%s"%key
    }
}

redis教程:

概述

redis是一种nosql数据库,他的数据是保存在内存中,同时redis可以定时把内存数据同步到磁盘,即可以将数据持久化,并且他比memcached支持更多的数据结构(string,list列表[队列和栈],set[集合],sorted set[有序集合],hash(hash表))。相关参考文档:http://redisdoc.com/index.html

redis使用场景:

  1. 登录会话存储:存储在redis中,与memcached相比,数据不会丢失。
  2. 排行版/计数器:比如一些秀场类的项目,经常会有一些前多少名的主播排名。还有一些文章阅读量的技术,或者新浪微博的点赞数等。
  3. 作为消息队列:比如celery就是使用redis作为中间人。
  4. 当前在线人数:还是之前的秀场例子,会显示当前系统有多少在线人数。
  5. 一些常用的数据缓存:比如我们的BBS论坛,板块不会经常变化的,但是每次访问首页都要从mysql中获取,可以在redis中缓存起来,不用每次请求数据库。
  6. 把前200篇文章缓存或者评论缓存:一般用户浏览网站,只会浏览前面一部分文章或者评论,那么可以把前面200篇文章和对应的评论缓存起来。用户访问超过的,就访问数据库,并且以后文章超过200篇,则把之前的文章删除。
  7. 好友关系:微博的好友关系使用redis实现。
  8. 发布和订阅功能:可以用来做聊天软件。

redismemcached的比较:

memcached redis
类型 纯内存数据库 内存磁盘同步数据库
数据类型 在定义value时就要固定数据类型 不需要
虚拟内存 不支持 支持
过期策略 支持 支持
存储数据安全 不支持 可以将数据同步到dump.db中
灾难恢复 不支持 可以将磁盘中的数据恢复到内存中
分布式 支持 主从同步
订阅与发布 不支持 支持

redisubuntu系统中的安装与启动

  1. 安装:

    sudo apt-get install redis-server
  2. 卸载:

    sudo apt-get purge --auto-remove redis-server
  3. 启动:redis安装后,默认会自动启动,可以通过以下命令查看:

    ps aux|grep redis

    如果想自己手动启动,可以通过以下命令进行启动:

    sudo service redis-server start
  4. 停止:

    sudo service redis-server stop

redis的操作

redis的操作可以用两种方式,第一种方式采用redis-cli,第二种方式采用编程语言,比如PythonPHPJAVA等。

  1. 使用redis-cliredis进行字符串操作:

  2. 启动redis

    sudo service redis-server start
  3. 连接上redis-server:

    redis-cli -h [ip] -p [端口]
  4. 添加:

    set key value
    如:
    set username xiaotuo

    将字符串值value关联到key。如果key已经持有其他值,set命令就覆写旧值,无视其类型。并且默认的过期时间是永久,即永远不会过期。

  5. 删除:

    del key
    如:
    del username
  6. 设置过期时间:

    expire key timeout(单位为秒)

    也可以在设置值的时候,一同指定过期时间:

    set key value EX timeout
    或:
    setex key timeout value
  7. 查看过期时间:

    ttl key
    如:
    ttl username
  8. 查看当前redis中的所有key

     keys *
  9. 列表操作:

    • 在列表左边添加元素:

         lpush key value

      将值value插入到列表key的表头。如果key不存在,一个空列表会被创建并执行lpush操作。当key存在但不是列表类型时,将返回一个错误。

    • 在列表右边添加元素:

         rpush key value

      将值value插入到列表key的表尾。如果key不存在,一个空列表会被创建并执行RPUSH操作。当key存在但不是列表类型时,返回一个错误。

    • 查看列表中的元素:

         lrange key start stop

      返回列表key中指定区间内的元素,区间以偏移量startstop指定,如果要左边的第一个到最后的一个lrange key 0 -1

    • 移除列表中的元素:

      • 移除并返回列表key的头元素:

         lpop key
      • 移除并返回列表的尾元素:

           rpop key
      • 移除并返回列表key的中间元素:

         lrem key count value

        将删除key这个列表中,count个值为value的元素。

    • 指定返回第几个元素:

         lindex key index

      将返回key这个列表中,索引为index的这个元素。

    • 获取列表中的元素个数:

         llen key
         如:
         llen languages
    • 删除指定的元素:

      lrem key count value 如: lrem languages 0 php

      根据参数 count 的值,移除列表中与参数 value 相等的元素。count的值可以是以下几种:

      • count > 0:从表头开始向表尾搜索,移除与value相等的元素,数量为count
      • count < 0:从表尾开始向表头搜索,移除与 value相等的元素,数量为count的绝对值。
      • count = 0:移除表中所有与value 相等的值。
  10. set集合的操作:

    • 添加元素:

      sadd set value1 value2....
      如:
      sadd team xiaotuo datuo
    • 查看元素:

      smembeers set
      如:
      smembers team
    • 移除元素:

      srem set member...
      如:
      srem team xiaotuo datuo
    • 查看集合中的元素个数:

      scard set
      如:
      scard team1
    • 获取多个集合的交集:

      sinter set1 set2
      如:
      sinter team1 team2
    • 获取多个集合的并集:

      sunion set1 set2
      如:
      sunion team1 team2
    • 获取多个集合的差集:

      sdiff set1 set2
      如:
      sdiff team1 team2
  11. hash哈希操作:

    • 添加一个新值:

      hset key field value
      如:
      hset website baidu baidu.com

      将哈希表key中的域field的值设为value。 如果key不存在,一个新的哈希表被创建并进行 HSET操作。如果域 field已经存在于哈希表中,旧值将被覆盖。

    • 获取哈希中的field对应的值:

      hget key field
      如:
      hget website baidu
    • 删除field中的某个field

      hdel key field
      如:
      hdel website baidu
    • 获取某个哈希中所有的fieldvalue

      hgetall key
      如:
      hgetall website
    • 获取某个哈希中所有的field

      hkeys key
      如:
      hkeys website
    • 获取某个哈希中所有的值:

      hvals key
      如:
      hvals website
    • 判断哈希中是否存在某个field

      hexists key field
      如:
      hexists website baidu
    • 获取哈希中总共的键值对:

      hlen field
      如:
      hlen website
  12. 事务操作:Redis事务可以一次执行多个命令,事务具有以下特征:

    • 隔离操作:事务中的所有命令都会序列化、按顺序地执行,不会被其他命令打扰。

    • 原子操作:事务中的命令要么全部被执行,要么全部都不执行。

    • 开启一个事务:

      multi

      以后执行的所有命令,都在这个事务中执行的。

    • 执行事务:

      exec

      会将在multiexec中的操作一并提交。

    • 取消事务:

      discard

      会将multi后的所有命令取消。

    • 监视一个或者多个key

      watch key...

      监视一个(或多个)key,如果在事务执行之前这个(或这些) key被其他命令所改动,那么事务将被打断。

    • 取消所有key的监视:

      unwatch
  13. 发布/订阅操作:

    • 给某个频道发布消息:

      publish channel message
    • 订阅某个频道的消息:

      subscribe channel
  14. 持久化:redis提供了两种数据备份方式,一种是RDB,另外一种是AOF,以下将详细介绍这两种备份策略:

    1 RDB AOF
    开启关闭 开启:默认开启。关闭:把配置文件中所有的save都注释,就是关闭了。 开启:在配置文件中appendonly yes即开启了aof,为no关闭。
    同步机制 可以指定某个时间内发生多少个命令进行同步。比如1分钟内发生了2次命令,就做一次同步。 每秒同步或者每次发生命令后同步
    存储内容 存储的是redis里面的具体的值 存储的是执行的更新数据的操作命令
    存储文件的路径 根据dir以及dbfilename来指定路径和具体的文件名 根据dir以及appendfilename来指定具体的路径和文件名
    优点 (1)存储数据到文件中会进行压缩,文件体积比aof小。(2)因为存储的是redis具体的值,并且会经过压缩,因此在恢复的时候速度比AOF快。(3)非常适用于备份。 (1)AOF的策略是每秒钟或者每次发生写操作的时候都会同步,因此即使服务器故障,最多只会丢失1秒的数据。 (2)AOF存储的是Redis命令,并且是直接追加到aof文件后面,因此每次备份的时候只要添加新的数据进去就可以了。(3)如果AOF文件比较大了,那么Redis会进行重写,只保留最小的命令集合。
    缺点 (1)RDB在多少时间内发生了多少写操作的时候就会出发同步机制,因为采用压缩机制,RDB在同步的时候都重新保存整个Redis中的数据,因此你一般会设置在最少5分钟才保存一次数据。在这种情况下,一旦服务器故障,会造成5分钟的数据丢失。(2)在数据保存进RDB的时候,Redis会fork出一个子进程用来同步,在数据量比较大的时候,可能会非常耗时。 (1)AOF文件因为没有压缩,因此体积比RDB大。 (2)AOF是在每秒或者每次写操作都进行备份,因此如果并发量比较大,效率可能有点慢。(3)AOF文件因为存储的是命令,因此在灾难恢复的时候Redis会重新运行AOF中的命令,速度不及RDB。
  15. 安全:在配置文件中,设置requirepass password,那么客户端连接的时候,需要使用密码:

        > redis-cli -p 127.0.0.1 -p 6379
        redis> set username xxx
        (error) NOAUTH Authentication required.
        redis> auth password
        redis> set username xxx
        OK

Python操作redis

  1. 安装python-redis

    pip install redis
  2. 新建一个文件比如redis_test.py,然后初始化一个redis实例变量,并且在ubuntu虚拟机中开启redis。比如虚拟机的ip地址为192.168.174.130。示例代码如下:

    # 从redis包中导入Redis类
    from redis import Redis
    # 初始化redis实例变量
    xtredis = Redis(host='192.168.174.130',port=6379)
  3. 对字符串的操作:操作redis的方法名称,跟之前使用redis-cli一样,现就一些常用的来做个简单介绍,示例代码如下(承接以上的代码):

    # 添加一个值进去,并且设置过期时间为60秒,如果不设置,则永远不会过期
    xtredis.set('username','xiaotuo',ex=60)
    # 获取一个值
    xtredis.get('username')
    # 删除一个值
    xtredis.delete('username')
    # 给某个值自增1
    xtredis.set('read_count',1)
    xtredis.incr('read_count')  # 这时候read_count变为2
    # 给某个值减少1
    xtredis.decr('read_count') # 这时候read_count变为1
  4. 对列表的操作:同字符串操作,所有方法的名称跟使用redis-cli操作是一样的:

    # 给languages这个列表往左边添加一个python
    xtredis.lpush('languages','python')
    # 给languages这个列表往左边添加一个php
    xtredis.lpush('languages','php')
    # 给languages这个列表往左边添加一个javascript
    xtredis.lpush('languages','javascript')
    
    # 获取languages这个列表中的所有值
    print xtredis.lrange('languages',0,-1)
    > ['javascript','php','python']
  5. 对集合的操作:

    # 给集合team添加一个元素xiaotuo
    xtredis.sadd('team','xiaotuo')
    # 给集合team添加一个元素datuo
    xtredis.sadd('team','datuo')
    # 给集合team添加一个元素slice
    xtredis.sadd('team','slice')
    
    # 获取集合中的所有元素
    xtredis.smembers('team')
    > ['datuo','xiaotuo','slice'] # 无序的
  6. 对哈希(hash)的操作:

    # 给website这个哈希中添加baidu
    xtredis.hset('website','baidu','baidu.com')
    # 给website这个哈希中添加google
    xtredis.hset('website','google','google.com')
    
    # 获取website这个哈希中的所有值
    print xtredis.hgetall('website')
    > {"baidu":"baidu.com","google":"google.com"}
  7. 事务(管道)操作:redis支持事务操作,也即一些操作只有统一完成,才能算完成。否则都执行失败,用python操作redis也是非常简单,示例代码如下:

    # 定义一个管道实例
    pip = xtredis.pipeline()
    # 做第一步操作,给BankA自增长1
    pip.incr('BankA')
    # 做第二步操作,给BankB自减少1
    pip.desc('BankB')
    # 执行事务
    pip.execute()

以上便展示了python-redis的一些常用方法,如果想深入了解其他的方法,可以参考python-redis的源代码(查看源代码pycharm快捷键提示:把鼠标光标放在import RedisRedis上,然后按ctrl+b即可进入)。

最后修改:2020年6月26日 10:02