欧美阿v视频在线大全_亚洲欧美中文日韩V在线观看_www性欧美日韩欧美91_亚洲欧美日韩久久精品

主頁 > 知識(shí)庫 > MySQL線程處于Opening tables的問題解決方法

MySQL線程處于Opening tables的問題解決方法

熱門標(biāo)簽:電話機(jī)器人市場趨勢 百度地圖標(biāo)注后不顯示 俄國地圖標(biāo)注app 昆明電信400電話辦理 淄博400電話申請 電銷機(jī)器人 行業(yè) 南昌高頻外呼系統(tǒng)哪家公司做的好 溫州瑞安400電話怎么申請 電銷機(jī)器人各個(gè)細(xì)節(jié)介紹

問題描述

最近有一臺(tái)MySQL5.6.21的服務(wù)器,在應(yīng)用發(fā)布后,并發(fā)線程Threads_running迅速升高,達(dá)到2000左右,大量線程處于等待Opening tables、closing tables狀態(tài),應(yīng)用端相關(guān)邏輯訪問超時(shí)。

【分析過程】

1、16:10應(yīng)用發(fā)布結(jié)束后,Opened_tables不斷增加,如下圖所示:

查看當(dāng)時(shí)故障期間抓取的pt-stalk日志文件,時(shí)間點(diǎn)2019-01-18 16:29:37,Open_tables 的值為3430,而table_open_cache的配置值為2000。

當(dāng)Open_tables值大于table_open_cache值時(shí),每次新的session打開表,有一些無法命中table cache,而不得不重新打開表。這樣反應(yīng)出來的現(xiàn)象就是有大量的線程處于opening tables狀態(tài)。

2、這個(gè)實(shí)例下的表,加上系統(tǒng)數(shù)據(jù)庫下總計(jì)851張,遠(yuǎn)小于table_open_cache的2000,為什么會(huì)導(dǎo)致Open_tables達(dá)到3430呢

從官方文檔中可以得到解釋,

https://dev.mysql.com/doc/refman/5.6/en/table-cache.html

table_open_cache is related to max_connections. For example, for 200 concurrent running connections, specify a table cache size of at least 200 * N, where N is the maximum number of tables per join in any of the queries which you execute.

當(dāng)時(shí)并發(fā)線程數(shù)達(dá)到1980,假設(shè)這些并發(fā)連接中有30%是訪問2張表,其他都是單表,那么cache size就會(huì)達(dá)到(1980*30%*2+1980*70%*1)=2574

3、QPS在發(fā)布前后都比較平穩(wěn),從外部請求來看并沒有突增的連接請求,但在發(fā)布后threads_running上升到接近2000的高位,一直持續(xù)。猜測是由于某個(gè)發(fā)布的SQL語句觸發(fā)了問題。

4、查看當(dāng)時(shí)抓取的processlist信息,有一句SQL并發(fā)訪問很高,查詢了8張物理表,SQL樣本如下:

code>select id,name,email from table1 left join table2br>union allbr>select id,name,email from table3 left join table4br>union allbr>select id,name,email from table5 left join table6br>union allbr>select id,name,email from table7 left join table8br>where id in ('aaa');/code>

5、在測試環(huán)境中創(chuàng)建相同的8張表,清空表緩存,單個(gè)session執(zhí)行SQL前后對比,Open_tables的值會(huì)增加8,如果高并發(fā)的情況下,Open_tables的值就會(huì)大幅增加。

問題重現(xiàn)

在測試環(huán)境上模擬高并發(fā)訪問的場景,并發(fā)1000個(gè)線程同時(shí)執(zhí)行上面的SQL語句,復(fù)現(xiàn)了生產(chǎn)環(huán)境類似的現(xiàn)象,Open_tables迅速達(dá)到3800,大量進(jìn)程處于Opening tables、closing tables狀態(tài)。

優(yōu)化方案

1、 定位到問題原因后,我們與開發(fā)同事溝通,建議優(yōu)化該SQL,降低單句SQL查詢表的數(shù)量或大幅降低該SQL的并發(fā)訪問頻率。

不過開發(fā)同事還沒來的及優(yōu)化,生產(chǎn)環(huán)境上故障又出現(xiàn)了。當(dāng)時(shí)DBA排障時(shí)將table_open_cache從2000增加4000,CPU使用率上升,效果并不明顯,等待Opening tables的問題依然存在。

2、 分析故障期間抓取的pstack信息,用pt-pmp聚合后,看到大量線程在open_table時(shí)等待mutex資源:

#0 0x0000003f0900e334 in __lll_lock_wait () from /lib64/libpthread.so.0
#1 0x0000003f0900960e in _L_lock_995 () from /lib64/libpthread.so.0
#2 0x0000003f09009576 in pthread_mutex_lock () from /lib64/libpthread.so.0
#3 0x000000000069ce98 in open_table(THD*, TABLE_LIST*, Open_table_context*) ()
#4 0x000000000069f2ba in open_tables(THD*, TABLE_LIST**, unsigned int*, unsigned int, Prelocking_strategy*) ()
#5 0x000000000069f3df in open_normal_and_derived_tables(THD*, TABLE_LIST*, unsigned int) ()
#6 0x00000000006de821 in execute_sqlcom_select(THD*, TABLE_LIST*) ()
#7 0x00000000006e13cf in mysql_execute_command(THD*) ()
#8 0x00000000006e4d8f in mysql_parse(THD*, char*, unsigned int, Parser_state*) ()
#9 0x00000000006e62cb in dispatch_command(enum_server_command, THD*, char*, unsigned int) ()
#10 0x00000000006b304f in do_handle_one_connection(THD*) ()
#11 0x00000000006b3177 in handle_one_connection ()
#12 0x0000000000afe5ca in pfs_spawn_thread ()
#13 0x0000003f09007aa1 in start_thread () from /lib64/libpthread.so.0
#14 0x0000003f088e893d in clone () from /lib64/libc.so.6

這時(shí)table_cache_manager中的mutex沖突非常嚴(yán)重。

由于MySQL5.6.21下table_open_cache_instances參數(shù)的默認(rèn)值為1,想到增大table_open_cache_instances參數(shù),增加表緩存分區(qū),應(yīng)該可以緩解爭用。

3、 在測試環(huán)境上,我們調(diào)整兩個(gè)參數(shù)table_open_cache_instances=32,table_open_cache=6000,同樣并發(fā)1000個(gè)線程執(zhí)行問題SQL,這次等待Opening tables、closing tables的線程消失了,MySQL的QPS也從12000上升到55000。
對比相同情況下,只調(diào)整table_open_cache=6000,等待Opening tables的進(jìn)程數(shù)從861下降到203,問題有所緩解,有600多個(gè)進(jìn)程已經(jīng)從等待Opening tables變?yōu)檫\(yùn)行狀態(tài),QPS上升到40000左右,但不能根治。

源碼分析

查了下代碼有關(guān)table_open_cache的相關(guān)邏輯:

1、Table_cache::add_used_table函數(shù)如下,當(dāng)新的連接打開的表在table cache中不存在時(shí),打開表加入到used tables list:

bool Table_cache::add_used_table(THD *thd, TABLE *table)
{
 Table_cache_element *el;
 
 assert_owner();
 
 DBUG_ASSERT(table->in_use == thd);
 
 /*
 Try to get Table_cache_element representing this table in the cache
 from array in the TABLE_SHARE.
 */
 el= table->s->cache_element[table_cache_manager.cache_index(this)];
 
 if (!el)
 {
 /*
  If TABLE_SHARE doesn't have pointer to the element representing table
  in this cache, the element for the table must be absent from table the
  cache.
 
  Allocate new Table_cache_element object and add it to the cache
  and array in TABLE_SHARE.
 */
 DBUG_ASSERT(! my_hash_search(m_cache,
         (uchar*)table->s->table_cache_key.str,
         table->s->table_cache_key.length));
 
 if (!(el= new Table_cache_element(table->s)))
  return true;
 
 if (my_hash_insert(m_cache, (uchar*)el))
 {
  delete el;
  return true;
 }
 
 table->s->cache_element[table_cache_manager.cache_index(this)]= el;
 }
 
 /* Add table to the used tables list */ 
 el->used_tables.push_front(table);
 
 m_table_count++; free_unused_tables_if_necessary(thd);
 
 return false;
}

2、每次add_used_table會(huì)調(diào)用Table_cache::free_unused_tables_if_necessary函數(shù),當(dāng)滿足m_table_count > table_cache_size_per_instance m_unused_tables時(shí),執(zhí)行remove_table,清除m_unused_tables列表中多余的cache。其中table_cache_size_per_instance= table_cache_size / table_cache_instances,MySQL5.6的默認(rèn)配置是2000/1=2000,當(dāng)m_table_count值大于2000并且m_unused_tables非空時(shí)就執(zhí)行remove_table,將m_unused_tables中的table cache清空。這樣m_table_count就是Open_tables的值正常會(huì)維持在2000上下。

void Table_cache::free_unused_tables_if_necessary(THD *thd)
{
 /*
 We have too many TABLE instances around let us try to get rid of them.
 
 Note that we might need to free more than one TABLE object, and thus
 need the below loop, in case when table_cache_size is changed dynamically,
 at server run time.
 */
 if (m_table_count > table_cache_size_per_instance  m_unused_tables)
 {
 mysql_mutex_lock(LOCK_open);
 while (m_table_count > table_cache_size_per_instance 
   m_unused_tables)
 {
  TABLE *table_to_free= m_unused_tables;  
  remove_table(table_to_free);
  intern_close_table(table_to_free);
  thd->status_var.table_open_cache_overflows++;
 }
 mysql_mutex_unlock(LOCK_open);
 }
}

3、增大table_cache_instances為32,當(dāng)Open_tables超過(2000/32=62)時(shí),就會(huì)滿足條件,加速上述邏輯中m_unused_tables的清理,使得table cache中數(shù)量進(jìn)一步減少,會(huì)導(dǎo)致Table_open_cache_overflows升高。

4、當(dāng)table_open_cache_instances從1增大到32時(shí),1個(gè)LOCK_open鎖分散到32個(gè)m_lock的mutex上,大大降低了鎖的爭用。

/** Acquire lock on table cache instance. */
 void lock() { mysql_mutex_lock(m_lock); }
 /** Release lock on table cache instance. */
 void unlock() { mysql_mutex_unlock(m_lock); }

解決問題

我們生產(chǎn)環(huán)境同時(shí)采取下面優(yōu)化措施,問題得以解決:
1、 讀寫分離,增加read節(jié)點(diǎn),分散master庫的壓力;
2、 調(diào)整table_open_cache_instances=16;
3、 調(diào)整table_open_cache=6000;

總結(jié)

當(dāng)出現(xiàn)Opening tables等待問題時(shí),
1、建議找出打開表頻繁的SQL語句,優(yōu)化該SQL,降低單句SQL查詢表的數(shù)量或大幅降低該SQL的并發(fā)訪問頻率。

2、設(shè)置合適的table cache,同時(shí)增大table_open_cache_instances和 table_open_cache參數(shù)的值。

您可能感興趣的文章:
  • mybatis學(xué)習(xí)之路mysql批量新增數(shù)據(jù)的方法
  • MySQL和Redis實(shí)現(xiàn)二級緩存的方法詳解
  • MySQL普通索引和唯一索引的深入講解
  • 使用MySQL的geometry類型處理經(jīng)緯度距離問題的方法
  • mysql binlog(二進(jìn)制日志)查看方法
  • Docker創(chuàng)建MySQL的講解
  • PHP date()格式MySQL中插入datetime方法
  • pymysql如何解決sql注入問題深入講解
  • mysql導(dǎo)出表的字段和相關(guān)屬性的步驟方法
  • MySQL limit性能分析與優(yōu)化

標(biāo)簽:海口 洛陽 甘南 安徽 吐魯番 拉薩 嘉峪關(guān) 葫蘆島

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《MySQL線程處于Opening tables的問題解決方法》,本文關(guān)鍵詞  MySQL,線程,處于,Opening,tables,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《MySQL線程處于Opening tables的問題解決方法》相關(guān)的同類信息!
  • 本頁收集關(guān)于MySQL線程處于Opening tables的問題解決方法的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    欧美阿v视频在线大全_亚洲欧美中文日韩V在线观看_www性欧美日韩欧美91_亚洲欧美日韩久久精品
  • <rt id="w000q"><acronym id="w000q"></acronym></rt>
  • <abbr id="w000q"></abbr>
    <rt id="w000q"></rt>
    欧美va日韩va| 国产成人免费视| 久久久久久久久久久久国产精品| 国产极品国产极品| 国产日韩欧美一区二区三区综合| 麻豆精品一区二区| 亚洲激情视频小说| 精品美女被调教视频大全网站| 日韩精品电影在线观看| 久久人妻少妇嫩草av无码专区| 欧美日产在线观看| 午夜精品久久久久久久| 中文字幕一区三区久久女搜查官| 欧美群妇大交群的观看方式| 亚洲成av人片在线| 中文字幕在线播放视频| 欧美大肚乱孕交hd孕妇| 久久99国产乱子伦精品免费| 91社区视频在线观看| 欧美激情一区不卡| 成人av资源在线观看| 91国模大尺度私拍在线视频| 亚洲精品老司机| 国模无码视频一区| 日韩欧美成人一区| 国产一区二区三区| 男人的天堂久久久| 一区二区三区美女视频| 国产+高潮+白浆+无码| 日韩欧美一区二区免费| 久久99精品国产麻豆婷婷| 丁香花五月婷婷| 国产精品久久午夜| 国产大学生av| 精品日韩欧美在线| 国产成a人亚洲| 日本国产一区二区| 亚洲成人福利片| 手机看片福利视频| 一色屋精品亚洲香蕉网站| 91人人澡人人爽| 欧美www视频| 成人污视频在线观看| 欧美性生活久久| 免费在线视频一区| 少妇被躁爽到高潮无码文| 亚洲一区自拍偷拍| 波多野在线播放| 亚洲视频免费在线| 亚洲欧美在线不卡| 亚洲国产成人在线| 人妻换人妻a片爽麻豆| 久久看人人爽人人| 91蜜桃在线免费视频| 欧美电影免费观看高清完整版在线 | 亚洲大片精品永久免费| 免费一级做a爰片久久毛片潮| 国产午夜三级一区二区三| 91麻豆高清视频| 精品粉嫩超白一线天av| 91在线精品一区二区三区| 精品少妇一区二区三区免费观看| 成人午夜电影小说| 日韩精品中文字幕在线一区| 成人精品视频.| 日韩欧美国产电影| 99re6这里只有精品视频在线观看| 日韩欧美成人一区| 青青草精品在线| 国产调教视频一区| 在线视频 日韩| 中文字幕在线免费不卡| theav精尽人亡av| 亚洲女同女同女同女同女同69| 丰满少妇一区二区三区| 亚洲欧美另类综合偷拍| 欧美福利第一页| 亚洲va韩国va欧美va精品| 九九热视频在线免费观看| 丝袜亚洲精品中文字幕一区| 国产免费无码一区二区视频| 老司机免费视频一区二区三区| 欧美在线短视频| 国产一区二区免费看| 欧美一区二区三区四区在线观看| 成人免费三级在线| 久久―日本道色综合久久| 911亚洲精选| 亚洲人成在线观看一区二区| 熟女少妇内射日韩亚洲| 天天av天天翘天天综合网| 色网综合在线观看| 国产乱码精品一区二区三区五月婷| 国产精品18久久久| 6080日韩午夜伦伦午夜伦| 99久精品国产| 中文字幕精品三区| 国产高清一区二区三区四区| 亚洲成人精品影院| 欧美亚男人的天堂| www.在线成人| 中文字幕成人在线观看| 在哪里可以看毛片| 日韩和欧美的一区| 欧美乱妇15p| 制服.丝袜.亚洲.中文.综合懂| 亚洲色图另类专区| 国产黄色的视频| 极品少妇一区二区三区精品视频| 91精品国产综合久久精品性色| 中文字幕在线播放一区二区| 亚洲色图在线播放| 黄色一级片中国| 成人国产精品免费观看动漫| 国产欧美视频一区二区| 四虎成人免费影院| 久久 天天综合| 精品美女在线观看| 欧美日韩高清丝袜| 蜜芽一区二区三区| 精品久久久久久久久久久院品网 | 久久午夜免费电影| 在线 丝袜 欧美 日韩 制服| 日韩高清一区在线| 欧美一区二区视频在线观看| 国产大尺度视频| 午夜久久久久久电影| 777奇米四色成人影色区| 亚洲免费观看在线| 午夜国产不卡在线观看视频| 欧美精品xxxxbbbb| 无码一区二区精品| 蜜桃av一区二区在线观看| 日韩欧美www| 日本一级免费视频| 国产乱人伦偷精品视频免下载| 国产欧美日韩久久| 色婷婷在线视频观看| 99久久精品国产一区二区三区| 亚洲三级在线看| 欧美日韩在线三区| 亚洲欧美日本一区| 激情综合色综合久久| 欧美国产一区二区在线观看| 麻豆明星ai换脸视频| 91视频xxxx| 婷婷综合在线观看| 精品久久久久久久久久久久久久久久久 | 色综合久久综合中文综合网| 99久久精品国产一区| 亚洲电影欧美电影有声小说| 91麻豆精品国产91久久久久| caopeng视频| 国产99久久久久久免费看农村| 自拍偷拍亚洲激情| 在线不卡免费欧美| 无码少妇一区二区| 成人ar影院免费观看视频| 一个色在线综合| 欧美va亚洲va| 极品盗摄国产盗摄合集| av影片在线播放| 久久国产精品99精品国产 | 欧美经典三级视频一区二区三区| 国产a免费视频| 中国黄色片视频| 国内成人自拍视频| 亚洲精品免费在线观看| 日韩午夜av一区| 国产一区二区精彩视频| 国内精品免费视频| 国产在线播放一区| 亚洲精品成人少妇| 欧美精品一区二区三区在线| 色综合中文字幕国产| 偷偷色噜狠狠狠狠的777米奇| 国产精一区二区三区| 亚洲另类一区二区| 欧美v亚洲v综合ⅴ国产v| 色综合天天综合网国产成人综合天 | 欧美情侣在线播放| 欧美乱大交做爰xxxⅹ小说| 国产又黄又嫩又滑又白| 国内精品在线播放| 亚洲一区二区视频在线| 国产亚洲精品福利| 欧美日本免费一区二区三区| 国产精品视频在| 稀缺呦国内精品呦| 福利电影一区二区三区| 三级欧美在线一区| 亚洲欧洲色图综合| 精品国产乱子伦一区| 欧美在线免费观看亚洲| 国产99在线 | 亚洲| 欧美夫妇交换xxx| www.亚洲国产| 国产综合久久久久久久久久久久| 一区二区三区四区高清精品免费观看| 26uuu色噜噜精品一区二区|