Skip to content
/ LogiKM Public
forked from didi/KnowStreaming

一站式Apache Kafka集群指标监控与运维管控平台

License

Notifications You must be signed in to change notification settings

nysyxxg/LogiKM

This branch is 924 commits behind didi/KnowStreaming:master.

Folders and files

NameName
Last commit message
Last commit date

Latest commit

author
mike.zhangliang
Aug 15, 2021
b74aefb · Aug 15, 2021
Jun 24, 2021
Aug 2, 2021
Jul 2, 2021
May 28, 2021
Jul 2, 2021
May 25, 2021
Jul 4, 2021
Jul 2, 2021
Jul 2, 2021
Nov 15, 2020
Mar 23, 2020
Mar 19, 2020
Aug 15, 2021
May 21, 2021
May 21, 2021
Jun 23, 2021

Repository files navigation


logikm_logo

一站式Apache Kafka集群指标监控与运维管控平台

阅读本README文档,您可以了解到滴滴Logi-KafkaManager的用户群体、产品定位等信息,并通过体验地址,快速体验Kafka集群指标监控与运维管控的全流程。

1 产品简介

滴滴Logi-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验,是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管控、监控告警、资源治理等核心场景,经历过大规模集群、海量大数据的考验。内部满意度高达90%的同时,还与多家知名企业达成商业化合作。

1.1 快速体验地址

1.2 体验地图

相比较于同类产品的用户视角单一(大多为管理员视角),滴滴Logi-KafkaManager建立了基于分角色、多场景视角的体验地图。分别是:用户体验地图、运维体验地图、运营体验地图

1.2.1 用户体验地图

  • 平台租户申请  :申请应用(App)作为Kafka中的用户名,并用 AppID+password作为身份验证
  • 集群资源申请  :按需申请、按需使用。可使用平台提供的共享集群,也可为应用申请独立的集群
  • Topic   申   请  :可根据应用(App)创建Topic,或者申请其他topic的读写权限
  • Topic   运   维  :Topic数据采样、调整配额、申请分区等操作
  • 指   标  监   控  :基于Topic生产消费各环节耗时统计,监控不同分位数性能指标
  • 消 费 组 运 维 :支持将消费偏移重置至指定时间或指定位置

1.2.2 运维体验地图

  • 多版本集群管控  :支持从0.10.22.x版本
  • 集    群    监   控  :集群Topic、Broker等多维度历史与实时关键指标查看,建立健康分体系
  • 集    群    运   维  :划分部分Broker作为Region,使用Region定义资源划分单位,并按照业务、保障能力区分逻辑集群
  • Broker    运    维  :包括优先副本选举等操作
  • Topic      运    维  :包括创建、查询、扩容、修改属性、迁移、下线等

1.2.3 运营体验地图

  • 资  源  治  理  :沉淀资源治理方法。针对Topic分区热点、分区不足等高频常见问题,沉淀资源治理方法,实现资源治理专家化
  • 资  源  审  批  :工单体系。Topic创建、调整配额、申请分区等操作,由专业运维人员审批,规范资源使用,保障平台平稳运行
  • 账  单  体  系  :成本控制。Topic资源、集群资源按需申请、按需使用。根据流量核算费用,帮助企业建设大数据成本核算体系

1.3 核心优势

  • 高 效 的 问 题 定 位  :监控多项核心指标,统计不同分位数据,提供种类丰富的指标监控报表,帮助用户、运维人员快速高效定位问题
  • 便 捷 的 集 群 运 维  :按照Region定义集群资源划分单位,将逻辑集群根据保障等级划分。在方便资源隔离、提高扩展能力的同时,实现对服务端的强管控
  • 专 业 的 资 源 治 理  :基于滴滴内部多年运营实践,沉淀资源治理方法,建立健康分体系。针对Topic分区热点、分区不足等高频常见问题,实现资源治理专家化
  • 友 好 的 运 维 生 态  :与滴滴夜莺监控告警系统打通,集成监控告警、集群部署、集群升级等能力。形成运维生态,凝练专家服务,使运维更高效

1.4 滴滴Logi-KafkaManager架构图

kafka-manager-arch

2 相关文档

2.1 产品文档

2.2 社区文章

3 滴滴Logi开源用户交流群

image
微信加群:添加mike_zhangliang的微信号备注Logi加群或关注公众号 云原生可观测性 回复 "Logi加群"

4 项目成员

4.1 内部核心人员

iceyuhuiliuyaguanglimengmontyzhangliangmikenullhuangyimingzengqiaoeilenexuzhehuangjiaweihjwzhaoyinruimarzkonglingxujoysunchao

4.2 外部贡献者

fangjunyuzhoutaiyang

5 协议

kafka-manager基于Apache-2.0协议进行分发和使用,更多信息参见协议文件

About

一站式Apache Kafka集群指标监控与运维管控平台

Resources

License

Stars

Watchers

Forks

Packages

No packages published

Languages

  • Java 70.6%
  • TypeScript 27.3%
  • Less 1.1%
  • Shell 0.5%
  • CSS 0.3%
  • JavaScript 0.1%
  • Other 0.1%