Merge pull request didi#473 from didi/dev

Dev
wangxindong · Mar 7, 2022 · e51dbe0 · e51dbe0
2 parents 482a375 + 44d537f
commit e51dbe0
Show file tree

Hide file tree

Showing 147 changed files with 1,824 additions and 920 deletions.
diff --git a/README.md b/README.md
@@ -5,7 +5,7 @@
 
 **一站式`Apache Kafka`集群指标监控与运维管控平台**
 
-
+`LogiKM开源至今备受关注，考虑到开源项目应该更贴合Apache Kafka未来发展方向，经项目组慎重考虑，预计22年5月份将其品牌升级成Know Streaming，届时项目名称和Logo也将统一更新，感谢大家一如既往的支持，敬请期待！`
 
 阅读本README文档，您可以了解到滴滴Logi-KafkaManager的用户群体、产品定位等信息，并通过体验地址，快速体验Kafka集群指标监控与运维管控的全流程。
 
@@ -55,41 +55,56 @@
 ## 2 相关文档
 
 ### 2.1 产品文档
-- [滴滴Logi-KafkaManager 安装手册](docs/install_guide/install_guide_cn.md)
-- [滴滴Logi-KafkaManager 接入集群](docs/user_guide/add_cluster/add_cluster.md)
-- [滴滴Logi-KafkaManager 用户使用手册](docs/user_guide/user_guide_cn.md)
-- [滴滴Logi-KafkaManager FAQ](docs/user_guide/faq.md)
+- [滴滴LogiKM 安装手册](docs/install_guide/install_guide_cn.md)
+- [滴滴LogiKM 接入集群](docs/user_guide/add_cluster/add_cluster.md)
+- [滴滴LogiKM 用户使用手册](docs/user_guide/user_guide_cn.md)
+- [滴滴LogiKM FAQ](docs/user_guide/faq.md)
 
 ### 2.2 社区文章
+- [kafka最强最全知识图谱](https://www.szzdzhp.com/kafka/)
+- [LogiKM新用户入门系列文章专栏 --石臻臻](https://www.szzdzhp.com/categories/LogIKM/)
 - [滴滴云官网产品介绍](https://www.didiyun.com/production/logi-KafkaManager.html)
 - [7年沉淀之作--滴滴Logi日志服务套件](https://mp.weixin.qq.com/s/-KQp-Qo3WKEOc9wIR2iFnw)
 - [滴滴Logi-KafkaManager 一站式Kafka监控与管控平台](https://mp.weixin.qq.com/s/9qSZIkqCnU6u9nLMvOOjIQ)
 - [滴滴Logi-KafkaManager 开源之路](https://xie.infoq.cn/article/0223091a99e697412073c0d64)
-- [滴滴Logi-KafkaManager 系列视频教程](https://mp.weixin.qq.com/s/9X7gH0tptHPtfjPPSdGO8g)
+- [滴滴Logi-KafkaManager 系列视频教程](https://space.bilibili.com/442531657/channel/seriesdetail?sid=571649)
 - [kafka实践（十五）：滴滴开源Kafka管控平台 Logi-KafkaManager研究--A叶子叶来](https://blog.csdn.net/yezonggang/article/details/113106244)
-- [kafka的灵魂伴侣Logi-KafkaManager系列文章专栏 --石臻](https://blog.csdn.net/u010634066/category_10977588.html)
 
-## 3 滴滴Logi开源用户交流群
 
+## 3 滴滴Logi开源用户交流群
 
 ![image](https://user-images.githubusercontent.com/5287750/111266722-e531d800-8665-11eb-9242-3484da5a3099.png)  
-微信加群：添加mike_zhangliang的微信号备注Logi加群或关注公众号 云原生可观测性 回复 "Logi加群"
+
+想跟各个大佬交流Kafka Es 等中间件/大数据相关技术请 加微信进群。
+
+微信加群：添加<font color=red>mike_zhangliang</font>、<font color=red>danke-xie</font>的微信号备注Logi加群或关注公众号 云原生可观测性 回复 "Logi加群"
 
 ## 4 知识星球
 
-![image](https://user-images.githubusercontent.com/51046167/140718512-5ab1b336-5c48-46c0-90bd-44b5c7e168c8.png)
+<img width="447" alt="image" src="https://user-images.githubusercontent.com/71620349/147314042-843a371a-48c0-4d9a-a65e-ca40236f3300.png">
+
+<br>
+<center>
+  ✅我们正在组建国内最大最权威的
+</center>
+<br>
+<center>
+<font color=red size=5><b>【Kafka中文社区】</b></font>
+</center>
+
+在这里你可以结交各大互联网Kafka大佬以及近2000+Kafka爱好者，一起实现知识共享，实时掌控最新行业资讯，期待您的加入中～https://z.didi.cn/5gSF9  
+
+<font color=red size=5>有问必答~！  </font>
+
+<font color=red size=5>互动有礼~！  </font>
 
-✅知识星球首个【Kafka中文社区】，内测期免费加入～https://z.didi.cn/5gSF9  
-有问必答~！  
-互动有礼~！  
-1600+群友一起共建国内最专业的【Kafka中文社区】  
-PS:提问请尽量把问题一次性描述清楚，并告知环境信息情况哦～！如使用版本、操作步骤、报错/警告信息等，方便嘉宾们快速解答～
+PS:提问请尽量把问题一次性描述清楚，并告知环境信息情况哦～！如使用版本、操作步骤、报错/警告信息等，方便大V们快速解答～
 
 ## 5 项目成员
 
 ### 5.1 内部核心人员
 
-`iceyuhui`、`liuyaguang`、`limengmonty`、`zhangliangmike`、`nullhuangyiming`、`zengqiao`、`eilenexuzhe`、`huangjiaweihjw`、`zhaoyinrui`、`marzkonglingxu`、`joysunchao`
+`iceyuhui`、`liuyaguang`、`limengmonty`、`zhangliangmike`、`xiepeng`、`nullhuangyiming`、`zengqiao`、`eilenexuzhe`、`huangjiaweihjw`、`zhaoyinrui`、`marzkonglingxu`、`joysunchao`、`石臻臻`
 
 
 ### 5.2 外部贡献者

diff --git a/Releases_Notes.md b/Releases_Notes.md
@@ -7,6 +7,39 @@
 
 --- 
 
+## v2.6.0
+
+版本上线时间：2022-01-24
+
+### 能力提升
+- 增加简单回退工具类
+
+### 体验优化
+- 补充周期任务说明文档
+- 补充集群安装部署使用说明文档
+- 升级Swagger、SpringFramework、SpringBoot、EChats版本
+- 优化Task模块的日志输出
+- 优化corn表达式解析失败后退出无任何日志提示问题
+- Ldap用户接入时，增加部门及邮箱信息等
+- 对Jmx模块，增加连接失败后的回退机制及错误日志优化
+- 增加线程池、客户端池可配置
+- 删除无用的jmx_prometheus_javaagent-0.14.0.jar
+- 优化迁移任务名称
+- 优化创建Region时，Region容量信息不能立即被更新问题
+- 引入lombok
+- 更新视频教程
+- 优化kcm_script.sh脚本中的LogiKM地址为可通过程序传入
+- 第三方接口及网关接口，增加是否跳过登录的开关
+- extends模块相关配置调整为非必须在application.yml中配置
+
+### bug修复
+- 修复批量往DB写入空指标数组时报SQL语法异常的问题
+- 修复网关增加配置及修改配置时，version不变化问题
+- 修复集群列表页，提示框遮挡问题
+- 修复对高版本Broker元信息协议解析失败的问题
+- 修复Dockerfile执行时提示缺少application.yml文件的问题
+- 修复逻辑集群更新时，会报空指针的问题
+
 ## v2.4.1+
 
 版本上线时间：2021-05-21

diff --git a/container/dockerfiles/Dockerfile b/container/dockerfiles/Dockerfile
@@ -19,6 +19,7 @@ ENV JAVA_OPTS="-verbose:gc  \
 RUN wget https://github.com/didi/Logi-KafkaManager/releases/download/v${VERSION}/kafka-manager-${VERSION}.tar.gz && \
     tar xvf kafka-manager-${VERSION}.tar.gz && \
     mv kafka-manager-${VERSION}/kafka-manager.jar /opt/app.jar && \
+    mv kafka-manager-${VERSION}/application.yml /opt/application.yml && \
     rm -rf kafka-manager-${VERSION}*
 
 EXPOSE 8080  9999

diff --git a/container/dockerfiles/docker-depends/jmx_prometheus_javaagent-0.14.0.jar b/container/dockerfiles/docker-depends/jmx_prometheus_javaagent-0.14.0.jar
diff --git a/container/helm/templates/configmap.yaml b/container/helm/templates/configmap.yaml
@@ -55,7 +55,7 @@ data:
         didi:
           app-topic-metrics-enabled: false
           topic-request-time-metrics-enabled: false
-          topic-throttled-metrics: false
+          topic-throttled-metrics-enabled: false
         save-days: 7
 
     # 任务相关的开关
@@ -67,7 +67,16 @@ data:
       # ldap settings
       ldap:
         enabled: false
-        authUserRegistration: false
+        url: ldap://127.0.0.1:389/
+        basedn: dc=tsign,dc=cn
+        factory: com.sun.jndi.ldap.LdapCtxFactory
+        filter: sAMAccountName
+        security:
+          authentication: simple
+          principal: cn=admin,dc=tsign,dc=cn
+          credentials: admin
+        auth-user-registration: false
+        auth-user-registration-role: normal
 
     kcm:
       enabled: false

diff --git a/distribution/conf/application.yml b/distribution/conf/application.yml
@@ -15,6 +15,7 @@ server:
 spring:
   application:
     name: kafkamanager
+    version: 2.6.0
   profiles:
     active: dev
   datasource:

diff --git a/distribution/conf/application.yml.example b/distribution/conf/application.yml.example
@@ -15,6 +15,7 @@ server:
 spring:
   application:
     name: kafkamanager
+    version: 2.6.0
   profiles:
     active: dev
   datasource:
@@ -26,7 +27,6 @@ spring:
   main:
     allow-bean-definition-overriding: true
 
-
   servlet:
     multipart:
       max-file-size: 100MB
@@ -36,29 +36,58 @@ logging:
   config: classpath:logback-spring.xml
 
 custom:
-  idc: cn   # 部署的数据中心, 忽略该配置, 后续会进行删除
-  jmx:
-    max-conn: 10 # 2.3版本配置不在这个地方生效
+  idc: cn
   store-metrics-task:
     community:
-      broker-metrics-enabled: true # 社区部分broker metrics信息收集开关, 关闭之后metrics信息将不会进行收集及写DB
-      topic-metrics-enabled: true  # 社区部分topic的metrics信息收集开关, 关闭之后metrics信息将不会进行收集及写DB
-    didi:
-      app-topic-metrics-enabled: false # 滴滴埋入的指标, 社区AK不存在该指标，因此默认关闭
-      topic-request-time-metrics-enabled: false # 滴滴埋入的指标, 社区AK不存在该指标，因此默认关闭
-      topic-throttled-metrics: false # 滴滴埋入的指标, 社区AK不存在该指标，因此默认关闭
-    save-days: 7 #指标在DB中保持的天数，-1表示永久保存，7表示保存近7天的数据
+      topic-metrics-enabled: true
+    didi: # 滴滴Kafka特有的指标
+      app-topic-metrics-enabled: false
+      topic-request-time-metrics-enabled: false
+      topic-throttled-metrics-enabled: false
 
-# 任务相关的开关
+# 任务相关的配置
 task:
   op:
-    sync-topic-enabled: false # 未落盘的Topic定期同步到DB中
-    order-auto-exec:          # 工单自动化审批线程的开关
-      topic-enabled: false      # Topic工单自动化审批开关, false:关闭自动化审批, true:开启
-      app-enabled: false        # App工单自动化审批开关, false:关闭自动化审批, true:开启
+    sync-topic-enabled: false                       # 未落盘的Topic定期同步到DB中
+    order-auto-exec:                                # 工单自动化审批线程的开关
+      topic-enabled: false                          # Topic工单自动化审批开关, false:关闭自动化审批, true:开启
+      app-enabled: false                            # App工单自动化审批开关, false:关闭自动化审批, true:开启
+  metrics:
+    collect:                                # 收集指标
+      broker-metrics-enabled: true          # 收集Broker指标
+    sink:                                       # 上报指标
+      cluster-metrics:                          # 上报cluster指标
+        sink-db-enabled: true                   # 上报到db
+      broker-metrics:                           # 上报broker指标
+        sink-db-enabled: true                   # 上报到db
+    delete:                                           # 删除指标
+      delete-limit-size: 1000                         # 单次删除的批大小
+      cluster-metrics-save-days: 14                   # 集群指标保存天数
+      broker-metrics-save-days: 14                    # Broker指标保存天数
+      topic-metrics-save-days: 7                      # Topic指标保存天数
+      topic-request-time-metrics-save-days: 7         # Topic请求耗时指标保存天数
+      topic-throttled-metrics-save-days: 7            # Topic限流指标保存天数
+      app-topic-metrics-save-days: 7                  # App+Topic指标保存天数
+
+thread-pool:
+  collect-metrics:
+    thread-num: 256  # 收集指标线程池大小
+    queue-size: 5000 # 收集指标线程池的queue大小
+  api-call:
+    thread-num: 16   # api服务线程池大小
+    queue-size: 5000 # api服务线程池的queue大小
+
+client-pool:
+  kafka-consumer:
+    min-idle-client-num: 24       # 最小空闲客户端数
+    max-idle-client-num: 24       # 最大空闲客户端数
+    max-total-client-num: 24      # 最大客户端数
+    borrow-timeout-unit-ms: 3000  # 租借超时时间，单位毫秒
 
-# ldap相关的配置
 account:
+  jump-login:
+    gateway-api: false            # 网关接口
+    third-part-api: false         # 第三方接口
   ldap:
     enabled: false
     url: ldap://127.0.0.1:389/
@@ -72,28 +101,20 @@ account:
     auth-user-registration: true
     auth-user-registration-role: normal
 
-# 集群升级部署相关的功能，需要配合夜莺及S3进行使用
-kcm:
-  enabled: false
-  s3:
+kcm:                                  # 集群安装部署，仅安装broker
+  enabled: false                      # 是否开启
+  s3:                                   # s3 存储服务
     endpoint: s3.didiyunapi.com
     access-key: 1234567890
     secret-key: 0987654321
     bucket: logi-kafka
-  n9e:
-    base-url: http://127.0.0.1:8004
-    user-token: 12345678
-    timeout: 300
-    account: root
-    script-file: kcm_script.sh
-
-# 监控告警相关的功能，需要配合夜莺进行使用
-# enabled: 表示是否开启监控告警的功能, true: 开启, false: 不开启
-# n9e.nid: 夜莺的节点ID
-# n9e.user-token: 用户的密钥，在夜莺的个人设置中
-# n9e.mon.base-url: 监控地址
-# n9e.sink.base-url: 数据上报地址
-# n9e.rdb.base-url: 用户资源中心地址
+  n9e:                                  # 夜莺
+    base-url: http://127.0.0.1:8004     # 夜莺job服务地址
+    user-token: 12345678                # 用户的token
+    timeout: 300                        # 当台操作的超时时间
+    account: root                       # 操作时使用的账号
+    script-file: kcm_script.sh          # 脚本，已内置好，在源码的kcm模块内，此处配置无需修改
+    logikm-url: http://127.0.0.1:8080   # logikm部署地址，部署时kcm_script.sh会调用logikm检查部署中的一些状态
 
 monitor:
   enabled: false
@@ -107,10 +128,9 @@ monitor:
     rdb:
       base-url: http://127.0.0.1:8000 # 夜莺v4版本，默认端口统一调整为了8000
 
-
-notify: # 通知的功能
-  kafka: # 默认通知发送到kafka的指定Topic中
-    cluster-id: 95 # Topic的集群ID
-    topic-name: didi-kafka-notify # Topic名称
-  order: # 部署的KM的地址
-    detail-url: http://127.0.0.1
+notify:
+  kafka:
+    cluster-id: 95
+    topic-name: didi-kafka-notify
+  order:
+    detail-url: http://127.0.0.1
diff --git a/distribution/conf/create_mysql_table.sql b/distribution/conf/create_mysql_table.sql
@@ -13,6 +13,9 @@ CREATE TABLE `account` (
   `username` varchar(128) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL DEFAULT '' COMMENT '用户名',
   `password` varchar(128) NOT NULL DEFAULT '' COMMENT '密码',
   `role` tinyint(8) NOT NULL DEFAULT '0' COMMENT '角色类型, 0:普通用户 1:研发 2:运维',
+  `department` varchar(256) DEFAULT '' COMMENT '部门名',
+  `display_name` varchar(256) DEFAULT '' COMMENT '用户姓名',
+  `mail` varchar(256) DEFAULT '' COMMENT '邮箱',
   `status` int(16) NOT NULL DEFAULT '0' COMMENT '0标识使用中，-1标识已废弃',
   `gmt_create` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
   `gmt_modify` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '修改时间',

diff --git a/distribution/upgrade_config.md b/distribution/upgrade_config.md
@@ -39,4 +39,14 @@ ALTER TABLE `gateway_config`
 ADD COLUMN `description` TEXT NULL COMMENT '描述信息' AFTER `version`;
 ```
 
+### 升级至`2.6.0`版本
 
+#### 1.mysql变更
+`2.6.0`版本在`account`表增加用户姓名，部门名，邮箱三个字段，因此需要执行下面的sql进行字段的增加。
+
+```sql
+ALTER TABLE `account`
+ADD COLUMN `display_name` VARCHAR(256) NOT NULL DEFAULT '' COMMENT '用户名' AFTER `role`,
+ADD COLUMN `department` VARCHAR(256) NOT NULL DEFAULT '' COMMENT '部门名' AFTER `display_name`,
+ADD COLUMN `mail` VARCHAR(256) NOT NULL DEFAULT '' COMMENT '邮箱' AFTER `department`;
+```
diff --git a/docs/dev_guide/assets/kcm/kcm_principle.png b/docs/dev_guide/assets/kcm/kcm_principle.png