Grafana 4.0.0 Release + Bug
2016-11-29 Grafana 4.0.0 버전이 릴리즈 되었다. 알림기능(Alerting)을 포함한 여러 기능들이 추가되었고, UX도 상당히 개선되었다.
하지만 릴리즈 된지 몇 일 지나지 않은 현재(2016-12-01), 4.0.0 버전에서 데이터소스(Prometheus, Elastic Search 등)와의 연결 설정에서 다소 심각한 버그가 레포팅 되고 있다. 필자도 본 포스팅을 통하여 설치한 3.X 버전의 Grafana에서 4.0.0 버전을 업데이트 했을때, 동일한 현상이 발생함을 확인하였다.
아직은 4.0.0 버전을 설치하거나 3.X 버전에서 업그레이드 하는 것을 신중하게 검토하길 바란다.
 |
Grafana 4.0.0 버전에서 추가된 기능 중 특히 알림기능은 Grafana의 여러 유저들이 기다려온 기능이기에 상당히 주목할 만하다.
알림 기능은 알림 대상(Notifications)을 개인 또는 그룹으로 지정하고, 각 그래프의 지표 값을 범위, 절대값, 최소/최대값 등의 수치를 알림으로 지정할 수 있다. 알림 방법은 SMTP를 이용한 메일, Slack 연동 등이 가능하다. 다음은 알림기능 관련 공식 온라인 도움말이다.
알림 기능은 알림 대상(Notifications)을 개인 또는 그룹으로 지정하고, 각 그래프의 지표 값을 범위, 절대값, 최소/최대값 등의 수치를 알림으로 지정할 수 있다. 알림 방법은 SMTP를 이용한 메일, Slack 연동 등이 가능하다. 다음은 알림기능 관련 공식 온라인 도움말이다.
- Alerting Rules : http://docs.grafana.org/alerting/rules/
- Alerting Notifications : http://docs.grafana.org/alerting/notifications/
[Bug] Connection leak with Prometheus in 4.0.0
[현상]
4.0.0 버전의 Grafana를 설치 또는 업데이트한 후, “Too many open files” 에러가 발생하며 Grafana가 중지(Hang)상태에 빠진다. Grafana에서 Prometheus와의 연결 개수(TCP, Open File 개수)가 수천~수만개까지 증가하여 발생하는 오류이다.
[해결방법]
어쩔 수 없이 Grafana 서비스를 재 기동해야 한다.(service grafana-server restart)
하지만, 재 기동 이후에도 Grafana 대시보드에 접속하여 그래프들을 지속적으로 조회하면 같은 현상(Too many open files에러 발생 및 TCP 연결 개수 증가)이 발생하며 Grafana가 중지상태에 빠진다.
3.X 버전에서 업그레이드를 하였다면, 우선 3.X버전으로 다운그레이드 하는 것을 검토해보길 바란다.
[버그레포팅]
또한 데이터소스가 Prometheus 뿐 아니라 Elastic Search 일 때에도 동일하게 발생하는 것으로 보인다.
