宇智波带土
corejava2008 · 共 50 篇文章
Kibana插件Timelion介绍 自定义分析图表
Kibana插件Timelion介绍 自定义分析图表 首先到Timelion定制页面: 昨日与今日数据对比 定制完成后到kibana Visualize中找到刚才保存的面板 找到图表链接,内嵌到自定义页面中 最终页面效果就是这样的了。样式采用bootstrap默认。。
2016-06-24 10:41 · ElasticSearch · Kibana · ELK · 评论(0)
Kibana插件Timelion介绍
Kibana插件Timelion介绍 Timelion是一个kibana时间序列展示组件 效果图如下: The time series composer for Kibana Kibana4.5安装方式: ./bin/kibana plugin -i elastic/timelion Kibana5安装方式 ./bin/kibana-plugin install timelion 安装完成后可以在kibana看到这个插件!如果没有显示,请尝试重启kibanba服务。 查询语法: .es(q="querystring", metric="cardinality:uid", index="qmo…
2016-06-24 09:55 · ElasticSearch · Kibana · ELK · 评论(0)
ElasticSearch通讯异常
当前Master节点A,数据节点B。 A日志: [2016-06-23 17:52:35,975][WARN ][transport.netty ] [node-svr132] exception caught on transport layer [[id: 0xcb0c5acc, :38310 => /:9350]], closing connection java.lang.IllegalStateException: Message not fully read (request) for requestId [804261], action [internal:plugin/lic…
2016-06-23 17:55 · ElasticSearch · ELK · 评论(1)
ElasticSearch2.3.2 轮流重启升级流程
ElasticSearch2.3.2 轮流重启升级流程 1.关闭分片迁移 PUT /_cluster/settings {"transient":{"cluster.routing.allocation.enable":"none"}} 2.可选操作 停止非必要的索引操作 POST /_flush/synced 3.停止并升级单个节点 如果使用zip安装,建议使用不同的config data logs plugin目录 方便后续失败回滚操作 4.启动新节点 GET _cat/nodes 5.重新开启分片自动迁移 PUT /_cluster/settings {"transient":{"cl…
2016-06-23 14:27 · ElasticSearch · ELK · 评论(0)
TopBeat服务安装
TopBeat是一个简单的服务器数据采集脚本,已经获取服务器进程的CPU,内存,磁盘使用数据。并将数据输出到ElasticSearch,Redis等服务中,非常的简单易用。 1.下载TopBeat wget https://download.elastic.co/beats/topbeat/topbeat-1.0.0-beta3-x86_64.tar.gz 2.解压并修改配置文件 tar -xzvf topbeat-1.0.0-beta3-x86_64.tar.gz cd topbeat-1.0.0-beta3-x86_64 修改topbeat.yml,中的localhost,改成ES主节点…
2015-09-23 18:34 · ELK,TopBeat · 评论(1)
解决Docker build时 Sending build context to Docker daemon 过大的问题
当使用Dockerfile Build镜像时,优势会发现发送到Daemo的内容过大 build image:q_build/javaweb:20150910174642 Sending build context to Docker daemon 4.768 GB Sending build context to Docker daemon Step 0 : FROM 192.168.100.123:5000/q_basic/javaweb:1.0 ---> 0aab72ab2945 Step 1 : MAINTAINER tyleryan <156926528@qq.com> ---> R…
2015-09-10 18:05 · Docker · 评论(0)
Marathon 服务发现(Service Discovery)及负载(Load Balancing)方案
####4.3 Marathon 提供的Docker服务发现及负载方案 * HAProxy配置文件目录 * Brige目录:SVR72 /usr/local/haProxy * 4.3.1 原理 marathon的restful api 有查看当前程序信息的接口: http://192.168.100.124:8080/v2/tasks 可以查询当前正在运行的app的host及端口信息 * 4.3.2 haproxy安装 登陆SVR72服务器 yum -y install haproxy 安装后的配置文件位置 /etc/haproxy/haproxy.cfg * 4.3.3 安装haprox…
Docker本地私有仓库搭建
Docker本地私有仓库搭建: 准备两台服务器192.168.10.123,192.168.10.124 1.以容器的方式运行registry服务,在123服务器执行 docker run -idt -p 5000:5000 --name registry -v /data/registry:/data/docker/registry registry 启动成功后,使用docker ps查看进程 [root@localhost build]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 63a8ef84f96…
2015-09-07 12:34 · Docker · 评论(0)
Docker服务无法启动解决办法
Docker -d -D服务无法启动 问题详情显示如下: INFO[0000] Listening for HTTP on unix (/var/run/docker.sock) ERRO[0000] [graphdriver] prior storage driver "devicemapper" failed: Error running DeviceCreate (CreatePool) dm_task_run failed FATA[0000] Error starting daemon: error initializing graphdriver: Error running D…
2015-09-07 11:27 · Docker · 评论(0)
ElasticSearch强制重置未分配的分片
强制重置脚本,请留意,可能会造成数据丢失。 NODE="YOUR NODE NAME" IFS=$'\n' for line in $(curl -s 'localhost:9200/_cat/shards' | fgrep UNASSIGNED); do INDEX=$(echo $line | (awk '{print $1}')) SHARD=$(echo $line | (awk '{print $2}')) curl -XPOST 'localhost:9200/_cluster/reroute' -d '{ "commands": [ { "allocate": { "index…
2015-09-02 12:37 · ElasticSearch · ELK · 评论(0)
Flume入门教程-简单案例
Flume入门教程-简单案例 1.下载安装 官方网站:http://flume.apache.org/ http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz tar -zxvf apache-flume-1.6.0-bin.tar.gz 2.修改配置 重命名flume-conf.properties.template文件为simple.conf,并修改为以下内容 Agent名称定义为agent. Source:可以理解为输入端,定义名称为s1 channel:传输频道,定义为c1,设置为内存模式 s…
2015-06-09 15:58 · Flume · 评论(0)
4.Logstash 入门教程-数据处理流程
4.Logstash 入门教程-数据处理流程 LS的处理流程分三个阶段:inputs->Filters-> Outputs. input:产生事件,filter:修改事件,output:输出事件。 在Input,Output阶段支持codecs解编码器,这样就不用在数据输入和输出的位置配置独立的Filter了。 Input输入配置: 常用的有 File syslog redis lumberjack 当然还有很多其他的啦,如ActiveMQ Kafak hdfs等.... Filters过滤配置: 在LS中属于独立的处理流程。可以通过条件拼接过个Filter。 一些非常有用的Filter: …
2015-06-03 22:02 · ElasticSearch · Logstash · ELK · 评论(0)
3.Logstash 入门教程 -配置案例
3.Logstash 入门教程 -配置案例 介绍一个详细案例,讲述如何配置读取Apache日志,Syslog并根据自定义条件进行过滤和输出。 手工输入并解析数据 LS中可以通过Filter针对数据进行切片切块等操作,解析,装换,组装等等。。 input { stdin { } } #控制台输入 filter { grok { #通过GROK来自动解析APACHE日志格式 match => { "message" => "%{COMBINEDAPACHELOG}" } } date {#通过Date过滤器来自动识别日期格式。 match => [ "timestamp" , "dd/MMM/y…
2.Logstash入门教程 - 启动命令行参数及插件安装
2.Logstash入门教程 - 启动命令行参数 Logstash的启动脚本中有比较多的命令行参数: -f :用于指定配置文件 使用文件,目录,或者通配符加载配置信息,如果指定为目录或者通配符,按字母顺序加载。 -e: 用于指定字符串输入 默认输入为,stdin { type => stdin } 默认输出为:stdout { codec => rubydebug }} -w: 指FilterWorkers的数量,默认为1 -l:指定输出文件的路径,默认为控制台输出 --verbose:设置较少的日志 --debug:设置更消息的日志 --watchdog-timeout TIMEOUT 设…
2015-05-29 22:58 · Logstash · 评论(0)
1.LogStash入门教程
首先Logstash需要依赖JDK 1.7+版本,请确认服务器是否安装了正确的JDK并配置了ClassPath。 Logstash提供了一个启动脚本,通过该脚本启动服务。 可以在该文件中配置JAVA_OPTS和LS_JAVA_OPTS配置JVM,JMS(如果想通过JMS监控的话)相关的参数。 下载并启动服务 curl -O https://download.elasticsearch.org/logstash/logstash/logstash-{logstash_version}.tar.gz tar -zxvf logstash-1.5.0.tar.gz cd logstash-{log…
2015-05-29 22:36 · Logstash · 评论(1)