log slow sql

Author: flike

README_ZH.md

@@ -21,6 +21,7 @@ kingshard是一个由Go开发高性能MySQL Proxy项目，kingshard在满足基
 	12. 支持order by,limit等操作。
 	13. 支持主流语言（java,php,python,C/C++,Go)SDK的mysql的prepare特性。
 	14. 支持到后端DB的最大连接数限制。
+	15. 支持SQL日志及慢日志输出。
 
 ## kinshard详细说明
 

backend/node.go

@@ -83,7 +83,7 @@ func (n *Node) GetSlaveConn() (*BackendConn, error) {
 	}
 
 	if db == nil {
-		return nil, errors.ErrNoSlaveDb
+		return nil, errors.ErrNoSlaveDB
 	}
 	if atomic.LoadInt32(&(db.state)) == Down {
 		return nil, errors.ErrSlaveDown
@@ -184,7 +184,7 @@ func (n *Node) DeleteSlave(addr string) error {
 	defer n.Unlock()
 	slaveCount := len(n.Slave)
 	if slaveCount == 0 {
-		return errors.ErrNoSlaveDb
+		return errors.ErrNoSlaveDB
 	} else if slaveCount == 1 {
 		n.Slave = nil
 		n.SlaveWeights = nil
@@ -260,7 +260,7 @@ func (n *Node) UpSlave(addr string) error {
 func (n *Node) DownMaster(addr string) error {
 	db := n.Master
 	if db == nil || db.addr != addr {
-		return errors.ErrNoMasterDb
+		return errors.ErrNoMasterDB
 	}
 	db.Close()
 	atomic.StoreInt32(&(db.state), Down)
@@ -271,7 +271,7 @@ func (n *Node) DownSlave(addr string) error {
 	n.Lock()
 	if n.Slave == nil {
 		n.Unlock()
-		return errors.ErrNoSlaveDb
+		return errors.ErrNoSlaveDB
 	}
 	slaves := make([]*DB, len(n.Slave))
 	copy(slaves, n.Slave)
@@ -291,7 +291,7 @@ func (n *Node) DownSlave(addr string) error {
 func (n *Node) ParseMaster(masterStr string) error {
 	var err error
 	if len(masterStr) == 0 {
-		return errors.ErrNoMasterDb
+		return errors.ErrNoMasterDB
 	}
 
 	n.Master, err = n.OpenDB(masterStr)

config/config.go

@@ -8,16 +8,15 @@ import (
 
 //整个config文件对应的结构
 type Config struct {
-	Addr     string `yaml:"addr"`
-	User     string `yaml:"user"`
-	Password string `yaml:"password"`
-	LogPath  string `yaml:"log_path"`
-	LogLevel string `yaml:"log_level"`
-
-	AllowIps string `yaml:"allow_ips"`
-	LogSql   string `yaml:"log_sql"`
-
-	Nodes []NodeConfig `yaml:"nodes"`
+	Addr        string       `yaml:"addr"`
+	User        string       `yaml:"user"`
+	Password    string       `yaml:"password"`
+	LogPath     string       `yaml:"log_path"`
+	LogLevel    string       `yaml:"log_level"`
+	LogSql      string       `yaml:"log_sql"`
+	SlowLogTime int          `yaml:"slow_log_time"`
+	AllowIps    string       `yaml:"allow_ips"`
+	Nodes       []NodeConfig `yaml:"nodes"`
 
 	Schemas []SchemaConfig `yaml:"schemas"`
 }

core/errors/errors.go

@@ -8,8 +8,8 @@ var (
 	ErrNoMasterConn  = errors.New("no master connection")
 	ErrNoSlaveConn   = errors.New("no slave connection")
 	ErrNoDefaultNode = errors.New("no default node")
-	ErrNoMasterDb    = errors.New("no master database")
-	ErrNoSlaveDb     = errors.New("no slave database")
+	ErrNoMasterDB    = errors.New("no master database")
+	ErrNoSlaveDB     = errors.New("no slave database")
 	ErrNoDatabase    = errors.New("no database")
 
 	ErrMasterDown    = errors.New("master is down")

doc/KingDoc/how_to_use_kingshard.md

@@ -32,6 +32,8 @@ password : kingshard
 log_level : debug
 # 打开SQL日志，设置为on;关闭SQL日志，设置为off
 log_sql : on
+#如果设置了该项，则只输出SQL执行时间超过slow_log_time(ms)的SQL日志，不设置则输出全部SQL日志
+slow_log_time : 100
 #日志文件路径，如果不配置则会输出到终端。
 log_path : /Users/flike/log
 # 只允许下面的IP列表连接kingshard，如果不配置则对连接kingshard的IP不做限制。

doc/KingDoc/how_to_use_kingshard_EN.md

@@ -33,6 +33,8 @@ log_path : /Users/flike/log
 log_level : debug
 #if set log_sql(on|off) off,the sql log will not output
 log_sql: off 
+#only log the query that take more than slow_log_time ms
+#slow_log_time : 100
 # only allow this ip list ip to connect kingshard
 #allow_ips: 127.0.0.1
 

doc/KingDoc/kingshard_install_document.md

@@ -23,6 +23,8 @@ password : kingshard
 log_level : debug
 # 打开SQL日志，设置为on;关闭SQL日志，设置为off
 log_sql : on
+#如果设置了该项，则只输出SQL执行时间超过slow_log_time(单位毫秒)的SQL日志，不设置则输出全部SQL日志
+slow_log_time : 100
 #日志文件路径，如果不配置则会输出到终端。
 log_path : /Users/flike/log
 # 只允许下面的IP列表连接kingshard，如果不配置则对连接kingshard的IP不做限制。

etc/ks.yaml

@@ -13,6 +13,8 @@ password : kingshard
 log_level : debug
 #if set log_sql(on|off) off,the sql log will not output
 log_sql: off 
+#only log the query that take more than slow_log_time ms
+#slow_log_time : 100
 # only allow this ip list ip to connect kingshard
 #allow_ips: 127.0.0.1
 

proxy/server/conn_query.go

@@ -174,7 +174,8 @@ func (c *ClientConn) executeInNode(conn *backend.BackendConn, sql string, args [
 		state = "INFO"
 	}
 	execTime := float64(time.Now().UnixNano()-startTime) / float64(time.Millisecond)
-	if strings.ToLower(c.proxy.cfg.LogSql) != golog.LogSqlOff {
+	if strings.ToLower(c.proxy.cfg.LogSql) != golog.LogSqlOff &&
+		execTime > float64(c.proxy.cfg.SlowLogTime) {
 		golog.OutputSql(state, "%.1fms - %s->%s:%s",
 			execTime,
 			c.c.RemoteAddr(),
@@ -227,7 +228,8 @@ func (c *ClientConn) executeInMultiNodes(conns map[string]*backend.BackendConn,
 				rs[i] = r
 			}
 			execTime := float64(time.Now().UnixNano()-startTime) / float64(time.Millisecond)
-			if c.proxy.cfg.LogSql != golog.LogSqlOff {
+			if c.proxy.cfg.LogSql != golog.LogSqlOff &&
+				execTime > float64(c.proxy.cfg.SlowLogTime) {
 				golog.OutputSql(state, "%.1fms - %s->%s:%s",
 					execTime,
 					c.c.RemoteAddr(),