corejava2008
- 浏览: 294341 次
- 性别:
- 来自: 北京
-
最新评论
-
corejava2008：
需要重启集群 参考类似问题：https://discuss.e ...
ElasticSearch通讯异常 -
xierfly：
想问一下，如果是window上，怎么安装这个呢？试过没？
TopBeat服务安装 -
harim：
不错，我试了一下，果然是负载 均衡＋失效转移机制。不过关了2台 ...
Redis3.0-集群环境搭建 -
sgq0085：
一直都想学一下集中化的管理日志，正好跟楼主学习了！
1.LogStash入门教程 -
ahack：
看起来只要你格式化的变量中任何一个地方引号没闭合你序列化的时候 ...
Nginx 输出Json格式日志
文章列表
ElasticSearch预警服务-Watcher详解-管理Watcher服务1.监听Watcher相关的数据存储在.watches索引中，该索引具有只读权限，必须通过API来创建，更新和删除。
GET .watches/_search
{
"fields" : [],
"query" : {"match_all" : { } }
}
2.通过Kibana监控Watcher历史数据
在kibana中配置 setting>indices 配置.watch_history*索引 ...
来看个小例子：固定周期采集数据，并设置数据预警机制采集数据配置，拉取RSS数据并存储到ElasticSearch中.1.下载并安装最新的logstash1.5版本
地址：https://www.elastic.co/products/logstash
2.安装rss插件
cd logstash-1.5.0
bin/plugin install logstash-input-rss
3.配置数据采集脚本
input {
rss {
url => "http://stackoverflow.com/feeds/tag/elasticsearc ...
8.ElasticSearch预警服务-Watcher详解-监控Marvel数据如果ElasticSearch集群部署了Marvel相关的服务，那么就可以安装Watcher来监控异常情况的产生并发送预警。例如可以在以下情况下配置Watch Action动作.1.集群监控状态监控2.高内存使用率3.高CPU使用率4.高文件目录空间5.高FieldData 缓存使用6.节点加入或者脱离集群使用Watcher查询Marvel存储的集群信息数据，请注意Marvel数据是否存储正常。
1.监控集群状态配置： 每分钟检测一次,如果集群状态持续Red状态60秒，则触发预警动作。
PUT _ ...
ElasticSearch预警服务-Watcher详解-Action设置Watcher中的Action指配置指定的预警动作，在满足触发条件且不节流的情况下执行。每个Action动作执行一次,Action之间相互独立。执行过程中，发生任何错误都会记录结果，可以在历史记录中查看。Action可以访问Context中的内容。Watcher支持的Action类型有四种：EMail(邮件),Webhook(第三方对接),Index(索引),Logging(日志记录)1.EMail发送通知邮件，可以配置至少一个邮箱账号。需要在elasticsearch.yml中配置邮箱账号，每个账号需要一个唯一的名称，并 ...
ElasticSearch预警服务-Watcher详解-Transform设置Transform(数据转换)，在Watcher服务的Action执行前执行。可以执行Transform的位置有两次，分别是：1.全局定义(Watch Level)，将对所有的Watch动作生效2.局部定义(Action Level)，只对指定的Watch动作生效设置案例：
{
"trigger" : { ...}
"input" : { ... },
"condition" : { ... },
"transform&q ...
ElasticSearch预警服务-Watcher详解-Condition设置
Condition用于在Watcher触发后决定是否去执行Action动作.目前支持的类型有4种，分别是always,never,script,compare.如果没有进行设置，则默认为always类型。当Condition执行时，可以访问Context中的数据，即Script和Compare可以使用其中的数据来决定是否满足条件。1.Always Condition设置为Always后，Action动作总会执行除非遇到throttled（节流）的情况.
PUT _watcher/watch/my-watch
...
Watcher的Input设置用于加载数据到执行Context中，目前支持三种模式设置，分别为simple,search,http。1.Simple简单输入
可以设定一些静态数据，供Watcher后续阶段进行计算，存储等。 这里可以定义静态数据作为一个字符串（STR），数值（NUM），或一个对象（Object）
{
"input" : {
"simple" : {
"str" : "tyler",
"num" : 29,
...
Watcher服务详解-定时器的设定 关于Schedule配置选择，Watcher提供了丰富的时间语法支持，采用UTC时间，来我们一起看下如何设置: 支持的设置方式： hourly:按小时周期设置 daily:按天周期设置 weekly:按周周期设置 monthly:按月周期设置 yearly:按年周期设置 cron:Cron表达式设置 interval :固定周期设置 详细案例： 1.按小时
每小时过30分钟执行
"trigger&q ...
Watcher的核心组成部分：1.Trigger:决定何时触发,必须对每个Watcher指定2.Input:将数据加载到Context中3.Condition:根据条件决定师傅执行Action操作,如不设置，默认总是执行4.Transform：可选传输设置：处理及数据Load过程设置5.Actions：动作：零个或者多个执行动作设定完整的案例：
PUT _watcher/watch/log_event_watch
{
"metadata" : { #附加可选metedata数据
"color" : "red"
...
本文将介绍如何安装Watcher服务，并介绍相关的功能特征。
1.Watcher服务的安装
目前Watcher服务处于Beta阶段，使用者可以申请最新的beta-key，然后通过插件的方式进行安装
bin/plugin -i elasticsearch/watcher/<watcher-beta-key>
2.验证服务
虽然目前Kibana最新的版本为Kibana4，当时仍然有不少同学使用Kibana3，那么问题来了！
Kibana有一个头疼的问题就是页面日期字段现实为标准零时区，来看下，群里好多新手经常问这个问题！
解决办法其实也是很简单的了，一起来看...
1.点击Table右上角的设置图标
2.选择面板选项Panel
3.勾选下方的LocalTime属性，并设置需要进行时区转换的属性名称
4.保存相关设定
5.查看最新的数据。
最新效果如下，妈妈再也不担心时区不对了。
Logstash一个完全开源的工具，可以进行数据收集、分析，并将其存储供以后使用。是ELK技术体系中的非常重要的一部分。让我们先来看看简单的功能介绍
0.处理任何数据，从任何来源
这是一直是Logstash的目标.
1.集中的所有类型的数据处理
Logstash是一个数据管道，可以让你从不同的系统来源收集日志或者其他的的事件数据,提供了多达165种不同的插件，并可以将数据输送到统一的中央分析系统中。
通过使用丰富的插件服务，可以完成的常见例子：
从文件，Syslog端口，队列服务(MQ,Redis,KafKa)等收集数据，将数据输出到文件，控制台，队列服务(MQ,Redis, ...
ElasticSearch警报和通知产品 Watcher(守望者)即将发布：
(官方地址：https://www.elastic.co/products/watcher)
Watcher：
Watcher是即将发布的警报和通知产品，基于Elasticsearch的数据预警衍生产品。简单地定义一个条件，一个时间计划，触发指定条件后Watcher会执行相关的警报和通知。
几大功能特点：
1.根据ES数据的变化自动触发通知
如异常登录失败时通知IT、应用程序响应时间高于平均值，或者发生意外错误时发送通知。
2.主动监控你的Elasticsearch集群
对接Watc ...
KafKa集群配置：
1.下载解压最新的kafka安装文件 ，并分别解压到三台服务器上
tar -xzf kafka_2.10-0.8.2.0.tgz
cd kafka_2.10-0.8.2.0
2.修改Server.properties配置文件：
zookeeper.connect=archtest01:2181,archtest02:2181,arch_open:2181
修改SVR71服务器broker.id=0
修改SVR72 ...
ElasticDump是一个ElasticSearch的数据导入导出开源工具包，方便使用。
官方地址：官方地址：https://github.com/taskrabbit/elasticsearch-dump
安装方式如下：安装NodeJS下载源码:wget http://nodejs.org/dist/v0.10.32/node-v0.10.32-linux-x64.tar.gz解压:tar xvf node-v0.10.22-linux-x64.tar.gz配置环境变量：在/etc/profile文件新增：export NODE_HOME=/home/node-v0. ...