Bir web servisinin uçtan uca izlenmesi

Merhaba,

Bu yazımızda uçtan uca bir web hizmetini nasıl monitor edeceğimizi inceleyeceğiz.

Web hizmeti birkaç katmandan oluşmaktadır. Bunların hepsinin ayrı ayrı monitor edilip bir servis yapısı altında birleştirilmesinde fayda vardır. Web sitesinin performanslı ve kaliteli yayınlanabilmesi için ilişkili olduğu tüm altyapı ve uygulama platformlarının izlenmesi gerekir.

Özellikle e-ticaret ve yayın yapan web platformlarında birkaç dakikalık kesinti yada servis yavaşlaması büyük kayıplara sebep olmaktadır. Bu anlamda proaktif olmak büyük önem taşımaktadır.

Örnek olarak java ile geliştirilmiş ve linux ortamında hizmet veren bir web servisini ele alırsak neleri izlemeliyiz ?

[ Uygulama Sunucuları İzleme (İşletim sistemi, donanım, uygulamalar) ]

• Sunucu :

            -Linux proses izleme
            -Linux partition ve klasör yapısı izleme
            -Linux dosya yapısı, değişikliklerin izlenmesi
            -Portların izlenmesi
            -CPU, RAM, Disk, Buffer, Interface, Availibity, Reachibility, Disk I/O... izleme
            -Sistem log izleme. Syslog izleme.

• Uygulama : 

            -J2EE & Java & JVM Component Performans, JMX, Beans...
            -Uygulama Sunucu İzleme : SilverStream, GlassFish,WebSphere,Weblogic, JBOSS, Tomcat              
            -Apache monitor : CPU Load, Uptime, Total Access, BytesPerSecond, BusyWorkers, Idle
             Workers...
            -Uygulama log izleme. Syslog ve uygulamaya özel log klasörlerinin izlenmesi.

[ Veritabanı İzleme ]

• Availibity & Reachibility
• Sunucu proses izleme
• Sunucu CPU, RAM, Disk, Buffer, Interface, Availibity, Reachibility, Disk I/O... izleme
• Veritabanı login kontrolleri
• SQL Query Monitor
• Komponentler : 

            -Connection Time,
            -Request Ststistics,
            -Connection statistics,
            -Thread Details,
            -Table Lock Statistics,
            -Key Efficiency,
            -Query Hit Ratio,
            -Query Cache Hitrate,
            -Replication Details,
            -Active Sessions,
            -Invalid Objects,
            -Waiting Sessions,
            -User Wait Time,
            -Archive Area Used,
            -Consistant Read Changes,
            -Broken Job Count,
            -Average File Read Time,
            -Average File Write Time,
            -Response Time Per Call


[ Network & Security Monitoring ]

  Web sunucularından başlayarak dışarıya yayının çıktığı son noktaya kadar tüm network ve güvenlik   cihazları izlenmelidir.

[ DNS & FTP Monitoring ]

[ Sanal sunucu var  ise Virtualization Monitoring ]

  VM hostların performans metriklerinin izlenmesi.

[ Synthetic Enduser Monitoring ]

• Lokal networkden kullanıcı deneyimi (Sentetik kullanıcı) ile web sayfası performansının ölçülmesi. Availibity, Response Time, Sayfa yüklenme süresi, Web transaction izlenmesi.
• Uzak ağdan (Ofislerden, farklı şehirlerden, farklı ülkelerden) kullanıcı deneyimi (Sentetik kullanıcı) ile web sayfası performansının ölçülmesi. Availibity, Response Time, Sayfa yüklenme süresi.
• Login testi.

[ Real User Monitoring ]

Kullanıcıların verilen hizmet ile gerçek etkileşimi ve hizmeti kullanırken nasıl tepki gösterdiğini izleyin. Böylece ziyaretçilerin işlem yapma sürelerinin ölçülmesi, uygulama problem çözümü için ziyaretçinin nereye tıkladığının tespiti gibi faaliyetleri hızlıca gerçekleştirin. Sıkıntı olduğunda kullanıcıya düzgün hizmet verilemiyorsa iş süreçlerinde nerde tıkanıklık olduğunu tespit edin.

Http/s, FTP, SMTP, SQL, POP3, IMAP, UDP, MQ, LDAP, Citrix ICA... gibi protokolleri kullanan pek çok uygulama için kullanılabilir.

[Web Content Monitoring ]

Web sayfasının içeriğinin tarayıcıda gelip gelmediğinin yada olması şart bir içeriğin sayfada olup olmadığının kontrolü.

[ PCI-DSS Monitoring ]

Eğer web sitesi üzerinden e-ticaret yapılıyor ise PCI-DSS (Payment Card Industry - Data Security Standarts) uyumlulukları konusunda izleme yapılması da gerekecektir.

• Logon Attempts - Radius, RDP logon activity
• File access, file creation, deletion, modify
• Failed logins
• Admin priviledge user changes on systems
• Domain policy changes
• Permission changes
• Configuration file changes
• Log monitoring, Who accessed and viewed, modified logs...
• Monitoring access to cardholder data and network resources.

Teşekkürler,
Cem Selmanoğulları

Bir monitoring / izleme yazılımı alırken nelere dikkat edilmeli ?

Merhaba,

Bu yazımda monitoring yazılımı alınırken dikkat edilecek konulara dikkat çekmek istiyorum. Firmalar yıllar içinde çeşitli monitoring yazılımlarını denemekte ve birinden diğerine geçerek hem zaman hem de para kaybetmektedirler. Bu kayıpları azaltmak ve nokta atışı bir monitoring yazılımına sahip olmak için isterleri belirlemek çok önemlidir. Her şirketin isterleri farklılık gösterebileceği gibi tüm firmaların ortak isterleri olabilecek bazı maddeleri aşağıda belirlemeye çalıştım.

Bazı isterler monitoring araçları dışında CMDB ve Servis bazlı izleme araçlarının da projeye dahil edilmesini isteyeceği gibi hepsini biraraya toplayan ürün çözümleri de bulunmaktadır.

+İzlenen altyapıda sorun oluştuğunda otomatik olarak istenilen listeye e-posta, SMS atabilme
+Otomatik Eskalasyon
+Yeni eklenen SNMP özellikli donanımların otomatik olarak bulma
+Yetkilendirilmiş kullanıcı tanımlayabilme
+"Kişiye yada Bölüme özel Dashboard hazırlanabilmesi.
+Dashboardlarda bilgiler belli periyodlarda dinamik güncellenmeli."
+Yöneticiye özel rapor alınabilmesi
+Rootcause analiz yapabilmesi
+Detaylı event management ve korelasyon özelliklerinin olması
+Geçmişe yönelik CPU, RAM v.b. kullanımının izlenip grafiklenebilmesi.
+Sanallaştırma ortamlarının izlenmesi. VMware api entegrasyonu
+Grafik oluştururken üst üste grafik bindirme özelliğinin olması
+Servis bazlı izleme yapılabilmesi
+Servis Masası ile entegre olabilmesi. Otomatik kayıt açıp kapatabilme
+Sunucu üzerinde ismi tarihe bağlı olan bir dosyada keyword arayabilme
+Hatlarının etkin şekilde izlenebilmesi. Hat durumlarının yada hattın ucundaki cihaz
durumlarının izlenebilmesi.
+Uygulamalarla ilgili izlemelerin kolay eklenmesi
+Dinamik keşfedilen interfacelerin bandwidth değerlerinin doğru çekiliyor olması.
+CMDB ile entegre olabilmeli.
+İzlenecek her cihaz model ve versiyonu desteklemeli. Bu cihazlardan
birer örnek dashboard incelenerek doğru data geldiği tespit edilmeli.
+Belli saate planlı yada belli zaman periyodlarında çalışabilecek oto keşif yapabilmeli.
+Keşif kriterleri verilirken istenmeyen cihazlar ip, model, vendor, cihaz tipi bazlı exclude edilebilmeli.
+Kolay bir MIB yönetim arayüzü olmalı.
+Hazır raporlar dışında  mümkün olduğunca özelleştirilebilir olmalı.
+Raporlarda format değiştirilebilmeli
+Raporlara yeni sütun eklenebilmeli yada var olan sütunlar çıkartılarak özelleştirilebilmeli.
+Detaylı Availability ve Reachability raporları çıkarılabilmeli.
+Detaylı envanter raporu sunabilmeli.
+Grafiklere zoom yapma ve time windows değiştirme özelliği olmalı.
+Cihaz sayfalarına custom alanlar eklenebilmeli.
+Interface grup oluşturulabilmeli.
+Cihaz grupları oluşturulabilmeli.
+Yedekli çalışan cihazlarla ilgili korelasyonlar yapılabilmeli
+"Interface ve cihaz grupları dinamik olarak filtrelerle oluşturulabilmeli. Ör: Sysname içinde
TR1 geçen cihazlar ilgili gruba otomatik yerleşsin."
+"Dinamik harita çizebilmeli. Çizilen haritada manuel bağlantı değişikliklerine
(Ekleme-Silme) izin vermeli."
+Servis ağaçları oluşturulabilmeli. Servis ağaçlarından oluşturulacak servis görsel olarak izlenebilmeli.
+"Servis ağaçlarının içindeki her elemanın değişikliği dinamik olarak takip edilip değişiklikler
servis ağacına yansımalı."
+"Geriye dönük mümkün olduğunca bilgi tutabilmeli. En az 90 günlük veri çok detaylı sağlanabilmeli.
1-3 yıllık özet bilgi saklanabilmeli."
+"Log içinde arama yapıp belli bir kelime yakalandığında alarm üretmeli.
Bu olay incremental olmalı her taramada eğer yeni bir error kelimesi eklendiyse alarm üretmeli."
+Syslog mesajlarını alarma çevirebilmeli. Gelen mesajları parse edilebilmeli.
+NOC izlemesi için CCTV ekranları hazırlanabilmeli. Bu ekranlar belli periyodlarda güncellenebilmeli.
+Mümkünse şirket içi geliştirmeler için veritabanından bilgi çekme amaçlı webservis yada api si olmalı.
+Domain Controller izlemeye özel yetenekleri olmalı.
+Exchange i izlemeye özel yetenekleri olmalı.
+"Mümkünse APM yeteneği olmalı. Veritabanlarını izleyebilmeli. Veritabanı performansını
izleyebilmeli. Sunucu üzeri çalışan uygulamaları izleyebilmeli. Sentetik kullanıcı ile belli
olayları simule edip kontrol edebilmeli. "
+Bir hataya karşı üreyecek alarmın bir aksiyon üretebilmesi.
+Mümkünse ürün problu yapıda çalışabilmeli.
+Trending yapabilmeli.
+Ürünün kendi kendini detaylı izleme mekanizması olmalı. Kendi health check ini yapabilmeli.
+Belli bir cihaz grubuna toplu olarak izleme ayarı yapılabilmeli.
+Belli bir interface grubuna toplu olarak izleme ayarı yapılabilmeli. 
+Port izleme yapabilmeli. Availability grafikleyebilmeli.
+Ping, tracert, telnet gibi basit troubleshoot toollarını üzerinde barındırmalı.
+URL monitoring yapabilmeli.
+Isı, voltaj, kart ve modüllerin durumu gibi donanım komponentleri kontrol edilip alarm üretilmeli.
+Switchler üzerinde hangi interface üzerinde hangi sunucu olduğunu gösterebilmeli.
+SSH, WMI, SNMP polling, SNMP Trap, Syslog Trap ile izleme yapabilmeli.
+Cihazlar için response time, paket kaybı gibi bilgileri verebilmeli.
+Ürün sayfalarında menüler kişiye özel düzenlenebilmeli.
+Gereksiz email sms göndermemeli. Buna yönelik korelasyon yapılabilmeli.
+Raporları schedule olarak email atabilmeli.
+Kuracak firma 7/24 teknik destek verebilmeli. Gerektiğinde yerinde destek verebilmeli.
+LDAP entegrasyonu
+Mobil cihazlarla uyumlu arayüz.
+Failover seçeneğinin olması.
+Gerektiğinde internet üzerinden izleme için proxy tanımlanabilmesi
+Bakım modu olmalı.
+Dosya ve klasör izleme yapabilmeli.
+Windows ve Linux makinelerde servis ve prosesleri izleyebilmeli.
+Windows ve Linux makinelerde remote script çalıştırıp sonucu parse edebilmeli.
+Diskler üzerinde I/O kullanım, read-write
+Güvenlik cihazlarında VPN bağlantı sayıları
+SAN Switchleri ve depolama cihazlarını izleyebilmeli
+Vendor bağımsız izleme yapabilmeli.
+Hem network, hem sunucu, hem depolama ünitelerini izleyebilmeli

Teşekkürler,
Cem Selmanoğulları