淺談mysql下日志記錄

1,如何查看mysql執(zhí)行命令歷史

? ? ? ? ? ? ? ? ? ? #.mysql_history? ? ?此文件記錄了在mysql中執(zhí)行命令的歷史


2,事務(wù)日志:

transaction log:事務(wù)型存儲引擎自行的管理和使用。

(redo? log)在一個事務(wù)完成提交后,還沒存入磁盤的情況下,會記錄到事務(wù)日志。開機重啟后將自動把已經(jīng)提交的事務(wù)重做。

(uodo log)如果事務(wù)未完成,系統(tǒng)崩潰,開機重啟之后將會把未完成得事務(wù)撤銷。

? ? ? ? 相關(guān)變量:

(root@localhost) [(none)]> SHOW VARIABLES LIKE 'innodb_log%';

+---------------------------+---------+

| Variable_name? ? ? ? ? ? | Value? |

+---------------------------+---------+

| innodb_log_block_size? ? | 512? ? |? ? ? ? ? ? ? ? ? ? ? ? ? ?--塊大小

| innodb_log_buffer_size? ? | 8388608 |? ? ? ? ? ? ? ? ? ? --緩存大小

| innodb_log_file_size? ? ? | 5242880 |? ? ? ? ? ? ? ? ? ? ? ?--每個日志文件大小

| innodb_log_files_in_group | 2? ? ? |? ? ? ? ? ? ? ? ? ? ? ? --日志組成員個數(shù),相當于幾個文件。

| innodb_log_group_home_dir | ./? ? ? |? ? ? ? ? ? ? ? ? ? --事務(wù)文件路徑,相對于數(shù)據(jù)目錄

+---------------------------+---------+


innodb_log_file_size默認大小為5M,innodb_log_files_in_group個數(shù)大小默認為2個。這兩個值生產(chǎn)中強烈建議大家可以調(diào)大。?不支持動態(tài)更改,寫進配置文件中即可。

? ? ? ? 注:修改innodb_log_file_size時需要先刪除原來的日志文件

如果事務(wù)操作的數(shù)據(jù)大于事務(wù)日志文件總大小,在執(zhí)行ROLLBACK時:可以撤銷,但是數(shù)據(jù)文件會被占用,需要使用OPTIMIZE TABLE命令來釋放數(shù)據(jù)空間;

使用TRUNCATE刪除表記錄可以縮小占用空間,DELETE命令不會釋放磁盤空間,如果需要釋放需要使用OPTIMIZE命令從新整理碎片來釋放空間。


3,錯誤日志:

? ??????????????????mysqld啟動和關(guān)閉過程中輸出的事件信息

? ? ? ? ? ? ? ? ? ?mysqld運行中產(chǎn)生的錯誤信息

? ? ? ? ????????????event scheduler運行一個event時產(chǎn)生的日志信息

? ? ? ????????????? 在主從復(fù)制架構(gòu)中的從服務(wù)器上啟動從服務(wù)器線程時產(chǎn)生的信息

? ? 相關(guān)變量:

(root@localhost) [(none)]> SHOW GLOBAL VARIABLES LIKE 'log_error';? ? ? ? 錯誤日志文件的路徑

+---------------+------------------------------+

| Variable_name | Value? ? ? ? ? ? ? ? ? ? ? ? |

+---------------+------------------------------+

| log_error? ? | /var/log/mariadb/mariadb.log |

+---------------+------------------------------+

錯誤文件路徑:

? ??????????????log_error=/PATH/TO/LOG_ERROR_FILE? ? 添加至配置文件中,自定義路徑。

log_warnings=1|0 默認值1(是),是否記錄警告信息至錯誤日志文件


4,通用日志:

? ? ? ? ? ? ? ? 記錄對數(shù)據(jù)庫得通用操作,包括錯誤的sql語句

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文件:file,默認值

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 表:table

通用日志相關(guān)設(shè)置:

? ? ? ? ? ? ? ? ? ? ? ? general_log=ON|OFF? ? ? ? ? ? ? ? #默認為OFF不記錄

? ? ? ? ? ? ? ?為全局變量,需寫入配置文件中,才可永久保存。建議無特殊需求此項不啟動。

(root@localhost) [(none)]> SHOW VARIABLES LIKE 'general_log%';

+------------------+-------------+

| Variable_name? ? | Value? ? ? |

+------------------+-------------+

| general_log? ? ? | OFF? ? ? ? |? ? ? ? ? ? ? ? ? ? ? ? #開啟或關(guān)閉通用日志。默認為關(guān)閉

| general_log_file | centes7.log |? ? ? ? ? ? ?#通用日志文件的文件名,/var/lib/mysql/HOSTNAME.log

+------------------+-------------+


(root@localhost) [(none)]> SHOW VARIABLES LIKE 'log_output';

+---------------+-------+

| Variable_name | Value |

+---------------+-------+

| log_output? ? | FILE? |????????????????????-#以什么方式存放日志,(TABLE|FILE|NONE)

+---------------+-------+

mysql.general_log:表存放查詢?nèi)罩?,前提是以表方式存放的?/p>


5,慢查詢?nèi)罩荆?/p>

? ? ? ? ? ? ? ? ? ? ? ? ? ? 記錄執(zhí)行查詢時長超出指定時長的操作

慢查詢相關(guān)變量:

? ??????????????slow_query_log=ON|OFF? :為全局變量,支持動態(tài)更改。

? ??(root@localhost) [(none)]> SHOW VARIABLES LIKE 'general_log%';

+------------------+-------------+

| Variable_name? ? | Value? ? ? |

+------------------+-------------+

| general_log? ? ? | OFF? ? ? ? |? ? ? ? ? ? ? ? ? ? ? ? #開啟或關(guān)閉慢查詢?nèi)罩?,默認關(guān)閉

| general_log_file | centes7.log |? ? ? ? ? ? ? ? ? #慢查詢的日志文件。

+------------------+-------------+


????????????????slow_query_log=ON|OFF

(root@localhost) [(none)]> SHOW VARIABLES LIKE 'long_query_time';

+-----------------+-----------+

| Variable_name? | Value? ? |

+-----------------+-----------+

| long_query_time | 10.000000 |? ? ? ? ? #慢查詢的閥值,單位秒,查詢時間超過10則記錄到慢查詢?nèi)罩?/p>

+-----------------+-----------+


slow_query_log_file=HOSTNAME-slow.log 慢查詢?nèi)罩疚募?,路徑可手動指定。


MariaDB [school]> SHOW VARIABLES LIKE 'log_slow%';

+---------------------+-------+| Variable_name? ? ? | Value |

+---------------------+-------+| log_slow_rate_limit | 1? ? |? ? ? ?# 多少次查詢才記錄,mariadb特有| log_slow_verbosity? |? ? ? |? ? ? ? ? ? ? ? ????????????????? ?#記錄內(nèi)容的詳細程度(Query_plan,explain)

+---------------------+-------+


log_queries_not_using_indexes=ON 不使用索引也沒有達到慢查詢閥值的語句是否記錄日志,默認OFF,即不記錄。為全局變量,支持動態(tài)更改。

(root@localhost) [(none)]> SHOW VARIABLES LIKE 'log_queries_not_using_indexes';

+-------------------------------+-------+

| Variable_name? ? ? ? ? ? ? ? | Value |

+-------------------------------+-------+

| log_queries_not_using_indexes | OFF? |? ? ? ? ? ? ?#記錄沒有利用索引查詢,而使用全文掃描的語句;默認關(guān)閉,建議開啟

+-------------------------------+-------+


log_slow_filter :根據(jù)查詢結(jié)果過濾

????????????????????admin

????????????????????filesort

????????????????????filesort_on_disk

????????????????????full_join

????????????????????full_scan

????????????????????query_cache

????????????????query_cache_miss

????????????????tmp_table

????????????????tmp_table_on_disk


????????????????利用profiling跟蹤查詢語句查詢語句使用得時間。

(root@localhost) [(none)]> show variables like 'profil%';

+------------------------+-------+

| Variable_name? ? ? ? ? | Value |

+------------------------+-------+

| profiling? ? ? ? ? ? ? | ON? ? |? ? ? ? ? ? ? ? ? ? ? ? #開啟或關(guān)閉此功能,默認為OFF

+------------------------+-------+

(root@localhost) [(none)]> set profiling=ON;? ? ? ? ? ? ? ?#開啟語句查詢功能

(root@localhost) [(none)]> SHOW profiles;? ? ? ? ? ? ? ? ? #查詢語句執(zhí)行列表

+----------+------------+-----------------------------------------------------+

| Query_ID | Duration? | Query? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? |

+----------+------------+-----------------------------------------------------+

|? ? ? ? 1 | 0.00019069 | ELECT stuid,name,age FROM students WHERE stuid = 2? |

|? ? ? ? 2 | 0.00024737 | SELECT stuid,name,age FROM students WHERE stuid = 2 |

|? ? ? ? 3 | 0.00069597 | SHOW VARIABLES LIKE 'log_slow%'? ? ? ? ? ? ? ? ? ? |

+----------+------------+-----------------------------------------------------+


(root@localhost) [(none)]> show profile FOR query 3 ;? ? ? ?查詢指定編號的SQL語句的詳細執(zhí)行過程。

+----------------------+----------+

| Status? ? ? ? ? ? ? | Duration |

+----------------------+----------+

| starting? ? ? ? ? ? | 0.000052 |

| Opening tables? ? ? | 0.000106 |

| After opening tables | 0.000007 |

| System lock? ? ? ? ? | 0.000002 |

+----------------------+----------+


6,二進制日志:

? ??????????記錄導致數(shù)據(jù)改變或潛在導致數(shù)據(jù)改變的SQL語句,記錄已提交的日志,功能:通過“重放”日志文件中的事件來生成數(shù)據(jù)副本,不依賴于存儲引擎類型。

? ? ? ? ? ? 開啟二進制日志:默認為關(guān)閉。建議二進制日志和數(shù)據(jù)文件分開存放。

? ? ? ? ? ? 開啟二進制文件:在/my.cnf文件[mysqld】下添加log_bin=[PATH/somefile],可默認路徑

? ? ? ? ? ? ? ? ? ? 默認二進制日志在數(shù)據(jù)庫目錄下,mariadb-bin.000001為二進制數(shù)據(jù)文件。mariadb-bin.index?為二進制目錄索引文件。


記錄二進制日志的三種方法:

? ? ? ? 基于語句記錄:每一條更改數(shù)據(jù)的語句,記錄為一條記錄,節(jié)省空間,系統(tǒng)默認模式。不推薦使用,存在一定得安全風險,容易丟失數(shù)據(jù)。

? ? ? ? 基于行記錄:每一行的改變都會將使其改變的語句記錄為一條語句,日志量會很大。但對于數(shù)據(jù)得安全性大。

? ? ? ? 基于混合模式記錄:mixed,讓系統(tǒng)自行判定該基于哪種方式進行


? ? ? ? 格式配置

(root@localhost) [(none)]> show variables like '%binlog_format%';

+---------------+-----------+

| Variable_name | Value? ? |

+---------------+-----------+

| binlog_format | STATEMENT |? ? ? ? ? #記錄方式,基于語句記錄。

+---------------+-----------+

SET binlog_format='ROW|STATEMENT|MIXED';? ? ? ? #修改二進制日志記錄方式


?二進制日志相關(guān)變量:

? ?????(root@localhost) [(none)]> SHOW VARIABLES LIKE 'sql_log_bin';? ? ?

?????????????????????????是否記錄二進制日志,默認為ON

????????(root@localhost) [(none)]> SHOW VARIABLES LIKE 'log_bin';

? ? ? ? ? ?指定文件位置;默認為OFF,表示不啟用二進制日志功能,上述兩項都開啟才可


(root@localhost) [(none)]> show master logs;? ? ? ? ?#查看mariadb自行管理使用中的二進制日志文件列表

+--------------------+-----------+

| Log_name? ? ? ? ? | File_size |

+--------------------+-----------+

| mariadb-bin.000001 |? ? ? 245 |? ? ? ? ? ? #當前二進制文件的大小

+--------------------+-----------+


(root@localhost) [(none)]> show master status;? ? ? ? ? ? #查詢當前使用中的二進制文件記錄在哪一個時間點。

+--------------------+----------+--------------+------------------+

| File? ? ? ? ? ? ? | Position | Binlog_Do_DB | Binlog_Ignore_DB |

+--------------------+----------+--------------+------------------+

| mariadb-bin.000001 |? ? ? 245 |? ? ? ? ? ? ? |? ? ? ? ? ? ? ? ? |? ?

+--------------------+----------+--------------+------------------+


+--------------------+----------+--------------+------------------+MariaDB [(none)]> SHOW BINLOG EVENTS IN 'mariadb-bin.000004' FROM 1 LIMIT 2,3\G -- 查看二進制文件中的指定內(nèi)容



(root@localhost) [(none)]> SHOW VARIABLES LIKE 'max_binlog_size';

+-----------------+------------+

| Variable_name? | Value? ? ? |

+-----------------+------------+

| max_binlog_size | 1073741824 |? ? ? ? ? ? ? ? #單個二進制日志文件的最大體積,到達最大值會自動滾動,默認為1G

+-----------------+------------+


(root@localhost) [(none)]> SHOW VARIABLES LIKE 'sync_binlog';

+---------------+-------+

| Variable_name | Value |

+---------------+-------+

| sync_binlog? | 0? ? |? ? ? ? ? ? ? ? #設(shè)定是否啟動二進制日志即時同步磁盤功能,默認0,由操作系統(tǒng)負責同步日志到磁盤

+---------------+-------+


(root@localhost) [(none)]> SHOW VARIABLES LIKE 'expire_logs_days';

+------------------+-------+

| Variable_name? ? | Value |

+------------------+-------+

| expire_logs_days | 0? ? |? ? ? ? ? #二進制日志可以自動刪除的天數(shù)。 默認為0,即不自動刪除

+------------------+-------+


?mysqlbinlog:命令

? ? ? ? ? ? 二進制日志的客戶端命令工具

? ? ? ? ? ? ? ? ? ? ? ? 語法:mysqlbinlog[OPTIONS]log_file...

? ? ? ? ? ? ? ? 常用選項:

? ? ? ? ? ? ? ? --start-position=#? ? ?指定開始位置

? ? ? ? ? ? ? ? --stop-position=#? ? ?指定結(jié)束位置

? ? ? ? ? ? ? ?--start-datetime=(YYYY-MM-DD hh:mm:ss)? ? 指定結(jié)束時間

? ? ? ? ? ? ? ? --stop-datetime=(YYYY-MM-DD hh:mm:ss)? ? 指定結(jié)束時間

? ?????????????? --base64-output[=name]? ? ?以編碼形式顯示

????????????????-v |-vv |-vvv |-vvvv? ? ?顯示詳細信息


[root@centos7 mysql]# mysqlbinlog --start-position=528864 --stop-position=529019 mariadb-bin.000004 --base64-output=decode-row -v# at 528864

#180611 20:59:46 server id 1? end_log_pos 528992? ? ? ? Query? thread_id=29? ? exec_time=0? ? error_code=0use `school`/*!*/;SET TIMESTAMP=1528721986/*!*/;INSERT students(StuID,Name,Age,Gender) VALUES (26,'Tom',22,'M')? #改變數(shù)據(jù)的SQL語句/*!*/;

事件發(fā)生的日期和時間:180611 20:59:46

事件發(fā)生的服務(wù)器標識:server id 1

事件的結(jié)束位置:end_log_pos 528992

事件的類型:Query

事件發(fā)生時所在服務(wù)器執(zhí)行此事件的線程的ID:thread_id=29

語句的時間戳與將其寫入二進制文件中的時間差:exec_time=0

錯誤代碼:error_code=0

事件內(nèi)容:

GTID:Global Transaction ID,mysql5.6以mariadb10以上版本專屬屬性:GTID


使用mysqlbinlog mariadb-bin.000001 > file.sql命令重定向到SQL文件中,

再使用mysql -uroot -p < file.sql命令可以直接導入數(shù)據(jù),實現(xiàn)了備份還原的功能


二進制日志的管理

? ????MariaDB [(none)]>?PURGE BINARY LOGS TO ‘mariadb-bin.000003’;? ? 刪除到03,注意:03不刪除。

MariaDB [(none)]> PURGE BINARY LOGS BEFORE '2018-01-23'; -- 刪除2018-01-23之前的日志

MariaDB [(none)]> PURGE BINARY LOGS BEFORE '2017-03-22 09:25:30';

MariaDB [(none)]> RESET MASTER; -- 刪除所有二進制日志,index文件重新記數(shù)

????????????????????????????????master第一次啟動時執(zhí)行,MariaDB10.1.6開始支持TO #

MariaDB [(none)]> FLUSH LOGS; -- 手動觸發(fā)日志滾動,切換日志文件。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容