TiDB源码学习笔记：启动TiDB

最近因为一些任务，开始入门学习TiDB源码，作为一名刚刚接触数据库底层的孩子来说，这个过程并不容易，好在TiDB的官方文档提供了源码阅读系列文章，能够让我们比较快速的入门，但是内容比较简单，即使依靠着官方文档去学习源码，对于我这种完全新入门的还是有那么一点点的难度，所以为了帮助那些和我一样，看源码看的眼花撩换的孩子，就将自己的学习过程记录下来，希望对大家入门TiDB源码有一定的帮助.TiDB的核心架构分为三块，分别是TiDB，TiKV 和 PD。TiKV是负责数据存储的，TiKV源码是用Rust写的，比较硬核，难度较高。PD是负责调度和管理的，作为整个集群的管理中心。PD是负责调度和管理的，作为整个集群的管理中心。

下面就开始进入TiDB学习了，TiDB源码是用golang写的，所以需要有一定的Go语言基础，最起码能看懂最基本的语法知识（其实我也是刚刚开始学习Go语言的）。要想学习源码，不能干看代码，尤其是对语言不熟悉的，看代码只会看的一头雾水，我们需要在本地去启动TiDB，然后打断点，逐步跟踪，才会更好了解代码逻辑和结构。准备好本地环境后，从GitHub上拉取TiDB源码，我现在拉的版本是2020.11.13的版本，版本不同代码可能会存在差异。首先去官网通过官方提供的源码阅读文章，可以找到程序启动的入口，在tidb-server/mian.go中可以找到入口main()，那么如果用的goland编译器的话，点击左边的小三角，就可以很方便的直接调试和启动。 看一下mian方法中，启动的每一个流程都封装成为了一个方法，如果想要对某一块进行学习，直接进入相对应的方法中查看即可，一个高可读的代码确实能让其他人感受到便利，所以大家开发中一定要注意代码规范。直接进入main方法中看一下。

func main() { // 读取命令行中的一些参数信息  flag.Parse() // 如果用户只是想查看版本信息，输出并结束  if *version {
      fmt.Println(printer.GetTiDBInfo())
      os.Exit(0)
   } // 注册存储  registerStores() // 注册监控  registerMetrics() // 初始化全局设置  config.InitializeConfig(*configPath, *configCheck, *configStrict, reloadConfig, overrideConfig) // 判断一下是否有 SQL 语句的内存使用超出 mem-quota-query  // 如果有限制的话启用临时磁盘，更新TempStoragePath  if config.GetGlobalConfig().OOMUseTmpStorage {
      config.GetGlobalConfig().UpdateTempStoragePath()
      err := disk.InitializeTempDir()
      terror.MustNil(err) checkTempStorageQuota()
   } // 设置全局变量  setGlobalVars() // CPU亲和性设置  setCPUAffinity() // 设置日志信息  setupLog() // 设置堆文件跟踪程序  setHeapProfileTracker() // 设置分布式跟踪系统 Jaeger  setupTracing() // Should before createServer and after setup config.  // 输出当前TiDB信息  printInfo() // 设置binlog客户端  setupBinlogClient() // 设置监控 Prometheus  setupMetrics() // 创建存储和终端，后台的一些服务  createStoreAndDomain() // 创建服务  createServer() // 对当前服务信号进行设置和处理  signal.SetupSignalHandler(serverShutdown) // 启动服务，开始监听  runServer() // 清除连接并关闭服务  cleanup() // 同步日志  syncLog()
} 

随着项目运行，每个模块会一一启动，这个地方也不进到每个方法内看具体实现了，内容比较多，研究那一块，我们就着重学习那一块。这个地方可以关注一下这个方法 registerStores() ，可以发现，当我们没有设置TiKV或者仅仅单独启动TiDB时，并不会启动失败，而是初始化一个MockTiKV服务来进行本地的存储，同样的，当没有设置PD服务时，TiDB也会启动一个MockPD来进行调度和管理，所以我们完全可以单独启动TiDB在本地做为测试。当然，每次重新启动也不会导致数据的丢失，他会帮我们存在本地文件中。

func registerStores() {
	err := kvstore.Register("tikv", tikv.Driver{})
	terror.MustNil(err)
	tikv.NewGCHandlerFunc = gcworker.NewGCWorker
	err = kvstore.Register("mocktikv", mockstore.MockTiKVDriver{})
	terror.MustNil(err)
	err = kvstore.Register("unistore", mockstore.EmbedUnistoreDriver{})
	terror.MustNil(err)
}

初始化环境变量和配置后，通过 runServer() 来启动整个服务，这个方法很简单，里面就运行了一个 svr.Run() 的方法，我们跟进去看一下。

// Run runs the server.
func (s *Server) Run() error {
   ......
   for {
      conn, err := s.listener.Accept()
      .......
      // 创建一个新的连接
      clientConn := s.newConn(conn)
      if s.dom != nil && s.dom.IsLostConnectionToPD() {
         logutil.BgLogger().Warn("reject connection due to lost connection to PD")
         terror.Log(clientConn.Close())
         continue
      }
      go s.onConn(clientConn)
   }
}

代码稍微简化了一下，它会进行一个For循环来不断的监听是否有连接的请求，当监听到有客户端发起连接请求后，会通过 ewConn() 创建一个新的连接。（每一个连接对应一个Session，Session在TiDB中是非常重要的模块，后面我们会经常看到）创建了新的连接，就会进入到 onConn() 方法中，抓取数据进行数据处理，这里有一个go function() 的语法，对于go语言不熟悉，可能就不理解，他是用于并发，会开启一个新的 goroutine 来运行这个方法，这个是go语言中很重要的模块，后面可以进行深入的了解。现在我们先进入这个 onConn() 中，了解一下。

func (s *Server) onConn(conn *clientConn) {
   ctx := logutil.WithConnID(context.Background(), conn.connectionID)
   if err := conn.handshake(ctx); err != nil {
   ......
   }
   ......  
   sessionVars := conn.ctx.GetSessionVars()
   if plugin.IsEnable(plugin.Audit) {
      sessionVars.ConnectionInfo = conn.connectInfo()
   }
   ......
   connectedTime := time.Now()
   conn.Run(ctx)
   ......
}

监听到客户端的连接请求，建立连接后，会创建一个上下文并绑定连接ID，接着进行握手验证，这个地方的握手类似TCP的握手流程，但是层次会更高，高在哪里，就需要单独研究了。握手成功，会检查连接是否开启审计，来记录一次连接信息，最后通过 conn.Run(ctx) 来读取客户端发的请求内容，继续跟进。

// Run reads client query and writes query result to client in for loop, if there is a panic during query handling,
// it will be recovered and log the panic error.
// This function returns and the connection is closed if there is an IO error or there is a panic.
func (cc *clientConn) Run(ctx context.Context) {
   if !atomic.CompareAndSwapInt32(&cc.status, connStatusDispatching, connStatusReading) {
     return
   }
   // Usually, client connection status changes between [dispatching] <=> [reading].
   // When some event happens, server may notify this client connection by setting
   // the status to special values, for example: kill or graceful shutdown.
   // The client connection would detect the events when it fails to change status
   // by CAS operation, it would then take some actions accordingly.
   for {
      ......
      // close connection when idle time is more than wait_timeout
      waitTimeout := cc.getSessionVarsWaitTimeout(ctx)
      cc.pkt.setReadTimeout(time.Duration(waitTimeout) * time.Second)
      start := time.Now()
      data, err := cc.readPacket()
      ......
      if !atomic.CompareAndSwapInt32(&cc.status, connStatusReading, connStatusDispatching) {
         return
      }
      startTime := time.Now()
      if err = cc.dispatch(ctx, data);err != nil {
      ......
      }
      ......
   }
}

还是老套路，开一个For循环，来读取客户端发过来的数据包 data,err := cc.readPacket()，前面有个验证，看请求空闲时间是否超时，超时了，就会关闭连接。cc.dispatch(crx, data)就是将抓取的数据进行处理，也就是我们发送的各种SQL语句都会进入这个方法，做详细的处理，并返回结果给客户端，毫无疑问，这个方法是TiDB中的关键方法，后面我们在进行跟踪TiDB处理SQL语句时，就要到这个方法中一探究竟。整个TiDB的启动流程，我们大致有了一定的了解，还包括如何监听客户端请求，建立连接并抓取数据等，知道了这些，我们才算正真开始了TiDB的源码学习路程，下一步我们要进行的就是发送一句SQL请求，并进行断点跟踪，来看看这句SQL的一生都经历了什么。

最后附上这次学习的流程图：