happysea/flume repository overview

see blog : https://www.cnblogs.com/lshan/p/16397909.html⁠

问题：目前2.0 还未解决该问题

（1）log4j的日志文件肯定是会根据规则进行滚动的：当*.log满了就会滚动把前文件更名为*.log.1,然后重新进行*.log文件打印。这样flume就会把*.log.1文件当作新文件，又重新读取一遍，导致重复。

（2）当flume监控的日志文件被移走或删除，flume仍然在监控中，并没有释放资源，当然，在一定时间后会自动释放，这个时间根据官方文档设置默认值是120000ms。

个人编译好的jar: https://gitee.com/lshan523/flume1.9⁠

案例： 监听文件 /opt/service/xx-user-service 下的logger , 并且发送到kakfa topic flume_log_test_topic

docker publish

mkdir -p /opt/docker/flume/checkpoint/

sudo docker run -itd --privileged --name=my_flume
-e "kafka_topic=flume_log_test_topic "
-e "kafka_bootstrap_servers=192.168.18.199:9092,192.168.18.54:9092,192.168.18.176:9092"
-e "listener_file_groups=/opt/listener/.log."
-e "taildir_checkpoint_position=/opt/checkpoint/taildir_position.json"
-v /opt/service/xx-user-service/:/opt/listener/:rw
-v /opt/docker/flume/checkpoint/:/opt/checkpoint/:rw
happysea/flume:1.9.0

-v /opt/service/xx-user-service/:/opt/listener/:rw 需要监听的文件目录 -e "listener_file_groups=/opt/listener/.log." \ 需要监听文件后缀