Sign inSign up

zhangyuming/elasticproxy

By zhangyuming

•Updated almost 8 years ago

elasticsearch proxy for kibana

Image
1

330

zhangyuming/elasticproxy repository overview

⁠elasticproxy

elasticproxy 代理elasticsearch 提供给kibana 调用， 可以在该项目中实现传输数据的修改，例如修改请求报文以及响应报文等

⁠已实现功能

  • 修改请求报文支持kibana基于filebeat的offset字段做二级排序

做过elk的人应该了解kibana排序至支持到秒级别，但同一秒内出现多个日志的时候那么kibana展示的日志就会混轮，加上该代理可以解决该问题

⁠使用介绍

⁠二进制文件

前提条件 已经有elastcsearch和kibana服务， 并且日志收集器为filebeat且日志数据中有offset字段

  • 在release中下载elasticproxy可执行文件
  • 启动elasticproxy 通过 -elastic_host 启动参数指定elasticsearch的地址, 默认elasticproxy的端口为8899
  • 启动kibana修改kibana的配置文件中elasticsearch的地址改为elasticproxy的地址

⁠Docker

  • docker run -it --rm -p 8899:8899 zhangyuming/elasticproxy elasticproxy -elastic_host elastichost:9200
  • 修改kibana 指向elasticproxy地址

⁠kubernetes

  • 切换到elasticsearch 命名空间
  • kubectl run elasticproxy --image=zhangyuming/elasticproxy --command -- elasticproxy -elastic_host elasticsearch:9200
  • kubectl expose deployment elasticproxy --target-port=8899 --port=8899
  • 切换kibana elasticsearch地址指向 elasticproxy:8899

⁠项目介绍

  • proxy 项目的一些实体以及接口定义
  • runner 真正修改报文的方法
  • vlog 日志服务
  • main.go 程序入口
⁠开发方式

例如你需要修改请求报文

  • 在runner包下创建一个结构体实体，且该实体需要实现 RequestModifyer接口, 该接口在proxy包中定义
type RequestModifyer interface {
	RequestModify(request *LocalRequest)
}
  • 在runner包的init方法中注册你的实体， 当前init方法在runner包中的kibana.go 中
func init() {
	proxy.RegistryRequestModifyer(&kibana{})
}

在main.go中会逐个执行注册的服务并把修改后的报文发送出去

Tag summary

Content type

Image

Digest

Size

4.5 MB

Last updated

almost 8 years ago

docker pull zhangyuming/elasticproxy