手機版
你好,游客 登錄 注冊
背景:
閱讀新聞

Redis主從結構主節點執行寫入后wait命令對性能的影響

[日期:2020-01-07] 來源:cnblogs.com/wy123  作者:wy123 [字體: ]

這里的Redis主從結構可以是簡單的主從,sentinel,redis cluster中的主從等。

wait命令的作用:
此命令將阻塞當前客戶端,直到當前Session連接(主節點上)所有的寫命令都被傳送到指定數據量的slave節點。
如果到達超時(以毫秒為單位),則即使尚未完全傳送到達指定數量的salve節點,該命令也會返回(成功傳送到的節點的個數)。
該命令將始終返回確認在WAIT命令之前發送的寫命令的副本數量,無論是在達到指定數量的副本的情況下,還是在達到超時的情況下。
具體說就是:比如對于1主2從的結構,Wait要求3秒鐘之內傳送到2個節點,但是達到超時時間3秒鐘之后只成功傳送到了1個slave節點上,此時wait也不會繼續阻塞,而是返回成功傳送的節點個數(1)。
有點類似于MySQL的半同步復制,但是效果完全不能跟半同步相比,因為Redis本身沒有回滾的功能,這里的wait命令發起之后,即便是超時時間之后沒有送到任何一個slave節點,主節點也不會回滾。
wait命令無法保證Redis主從之間的強一致,不過,在主從、sentinel和Redis群集故障轉移中,wait能夠增強(僅僅是增強,但不是保證)數據的安全性。

既然wait命令在當前連接之后會等待指定數量的從節點確認,其主節點的寫入效率必然會收到一定程度的影響,那么這個影響有多大?
這里做一個簡單的測試,環境2核4G的宿主機,docker下的集群3主3從的Redis集群,因此不用考慮網絡延遲,在執行寫入操作之后,使用兩個Case,對比使不使用wait命令等待傳送到salve的效率,
1,單線程循環寫入100000個key值
2,多線程并發,10個線程每個線程寫入10000個key,一共寫入100000個key

Case1:單線程循環寫入100000個key值
結論:不使用wait命令,整體耗時33秒,集群中單個節點的TPS為1000左右;使用wait命令,整體耗時72秒,集群中單個節點的TPS為480左右,整體效率下降了50%多一點

單線程不使用WAIT

單線程使用WAIT(redis_conn.execute_command('wait', 1, 0))

 

Case2:多線程循環寫入100000個key值
結論:不使用wait命令,整體耗時19秒,集群中單個節點的TPS為1700左右;使用wait命令,整體耗時36秒,集群中單個節點的TPS為900左右,整體效率與單線程基本上一致,下降了50%多一點

多線程不使用WAIT,單節點上TPS可達到1700左右

多線程使用WAIT,單節點上TPS可達到850左右

鑒于在多線程模式下,CPU負載接近于瓶頸,因此不能再加更多的線程數,測試數據也僅供參考。

總結:
wait能夠在主節點寫入命令之后,通過阻塞的方式等待數據傳送到從節點,wait能夠增強(但不保證)數據的安全性。
其代價或者說性能損耗也是不小的,通過以上測試可以看出,即便是不考慮網絡傳輸延遲的情況下,其性能損耗也超出了50%。

#!/usr/bin/env Python
# coding:utf-8
import sys
import time
import datetime
from rediscluster import StrictRedisCluster
import threading
from time import ctime,sleep


def redis_cluster_write():
    redis_nodes = [ {'host':'172.18.0.11','port':8888},
                    {'host':'172.18.0.12','port':8888},
                    {'host':'172.18.0.13','port':8888},
                    {'host':'172.18.0.14','port':8888},
                    {'host':'172.18.0.15','port':8888},
                    {'host':'172.18.0.16','port':8888}]
    try:
        redis_conn = StrictRedisCluster(startup_nodes=redis_nodes,password='******')
    except Exception:
        raise Exception
    redis_conn.config_set('cluster-require-full-coverage', 'yes')
    counter = 0
    for i in range(0,100000):
        counter = counter+1
        redis_conn.set('key_'+str(i),'value_'+str(i))
        #redis_conn.execute_command('wait', 1, 0)
        if counter == 1000:
            print('insert 1000 keys '+str(str(datetime.datetime.now())))
            counter = 0


def redis_concurrence_test(thread_id):
    redis_nodes = [ {'host':'172.18.0.11','port':8888},
                    {'host':'172.18.0.12','port':8888},
                    {'host':'172.18.0.13','port':8888},
                    {'host':'172.18.0.14','port':8888},
                    {'host':'172.18.0.15','port':8888},
                    {'host':'172.18.0.16','port':8888}]
    try:
        redis_conn = StrictRedisCluster(startup_nodes=redis_nodes, password='******')
    except Exception:
        raise Exception
    redis_conn.config_set('cluster-require-full-coverage', 'yes')
    counter = 0
    for i in range(0, 10000):
        counter = counter + 1
        redis_conn.set('key_' + str(thread_id)+'_'+str(counter), 'value_' + str(i))
        #redis_conn.execute_command('wait', 1, 0)
        if counter == 1000:
            print(str(thread_id)+':insert 1000 keys ' + str(str(datetime.datetime.now())))
            counter = 0

 

if __name__ == '__main__':
    #redis_cluster_write()
    threads = []
    for i in range(10):
        t = threading.Thread(target=redis_concurrence_test, args=(i,))
        threads.append(t)
    begin_time = ctime()
    for t in threads:
        t.setDaemon(True)
        t.start()
    for t in threads:
        t.join()

Linux公社的RSS地址http://www.nluszu.live/rssFeed.aspx

本文永久更新鏈接地址http://www.nluszu.live/Linux/2020-01/161956.htm

linux
相關資訊       Redis主從 
本文評論   查看全部評論 (0)
表情: 表情 姓名: 字數

       

評論聲明
  • 尊重網上道德,遵守中華人民共和國的各項有關法律法規
  • 承擔一切因您的行為而直接或間接導致的民事或刑事法律責任
  • 本站管理人員有權保留或刪除其管轄留言中的任意內容
  • 本站有權在網站內轉載或引用您的評論
  • 參與本評論即表明您已經閱讀并接受上述條款
彩票投注骗局