Blog

2. Kurumsal Veri Yönetimi Zirvesi 2012'den Notlarım


10 Ekim 2012 tarihinde Swiss Otel'de düzenlenen 2. Kurumsal Veri Yönetimi Zirvesi (KVYZ), kurumsal veri yönetimi ile ilgili ilk kez katıldığım bir etkinlikti. Toplantının her detayını bir basın mensubu gibi anlatmayacağım tabi ki, zaten etkinlikle ilgili herşeye ve sunumlara www.komtas.com Bilgi Merkezi'nden erişilebilir. Bu yazımda toplantıdan ne gibi sonuçlar çıkardım, not defterimde nelerin üzerine yıldız koydum, onları paylaşmaya çalışacağım.

Veri, bir organizasyonun sahip olduğu en değerli varlıktır! Mark Seager böyle başladı sözlerine. Bir organizasyon nasıl olur da kasasındaki paradan ya da diğer mal birikiminden daha değerli bir varlığa sahip olabilir hiç düşündünüz mü? Bu sözün anlamını kavrayabilmek için son derece stratejik düşünmemiz gerekiyor. Varolan verilerinizden kazanabileceğiniz bilgi ve onun ötesinde yer alan karar alma mekanizmalarınız, bu sözün altını dolduruyor.
 
Verinin hacmi ve çeşitliliği büyük bir ivme ile büyüyor, kucakla ya da geride kal...
 
Pekala, herkes saatlerini ayarlasın. Bir saat içerisinde ilişkide olduğunuz kaynaklardan gelen verileri, dönüştükleri bilgilerin bir listesini tutalım. Kişisel olarak bunu yaptığınızda bile 24 saat içerisinde inanılmaz bir ağın içerisinde buluyorsunuz kendinizi. Dünkü toplantıda tanıştığım insanlar, bu sabah okuduğum e-postalarım, proje ekibimle yaptığım toplantı, müşteriden aldığımız geri bildirimler, sabah radyoda dinlediğim haber bülteni, bir saat içerisinde önümüzdeki 3-4 saat içerisinde karar vermem gereken birçok konu başlığını şimdiden çıkardı.

Söz konusu olan bir organizasyon olduğunda ve kar amaçlı bir organizasyon ise örneğin, verinizin ivmelenerek büyüdüğünü ve çeşitliliğinin artığını göreceksiniz.

Büyük Veri Çözüm değil, sonuçtur

Önemli istatiksel verileri sunabiliriz burada. Her zaman duyduğunuz şeyler. Son bir yılda ürettiğimiz verinin son on yılda üretilene eşit ya da daha fazla olduğu gibi. Mark Seager, bu konuda 3 başlık üzerinde durdu konuşmasında;  


  • İşlemsel veri,
  • Sosyal veri,
  • Makinelerin ürettikleri veri
Kendi organizasyonunuz içerisinde yer alan bir veri ambarı iyi bir örnek olabilir burada. Yapılan sorgulamalar, çıkartılan raporlar ve belki çıkarsamalar. Hepsi birer etkileşim sonucu oluşuyor. İşlem yaptıkça ortaya çıkıyorlar, büyüyorlar. Kar topunun çığa dönüşmesi gibi. Sosyal veri ise Web 2.0 ile domine olan ve insan-insan, insan-organizasyon arasında bağlar kuran bir veri türü. Bir çok sosyal veri sağlayıcı bizlere lokasyon bilgisini de sunabiliyor. Geçen günlerde sosyal medya uygulamaları geliştiren bir arkadaşım yaptıkları son projelerinden birinden söz etmişti. Bir şarap firmasının Facebook uygulamasında insanların şarap alışkanlıklarını, beğenilerini toplayabildiklerini ve onlara hangi mevsimde, hangi yemekte, hangi şarabı içebileceklerini önerdikleri bir sistemi geliştirdiklerini anlattı. Müşterileriyle kurdukları bu bağın ortaya çıkardığı büyük bir veri yığını gözünüzün önüne gelebilir. Kaldı ki, milyonlarca müşterisi olan mağazaların sosyal mecralarda yer almalarına sadece pazarlama yönüyle değil, müşteri hakkında daha fazla veri elde etmek istedikleri gözüyle bakmak daha doğru olacaktır. Ve son olarak makinelerin, sensörlerin, takip cihazlarının ürettikleri inanılmaz hacimlerde ve çeşitlilikteki verilerden söz etti Mark Seager. Harika bir örnek verdi ki, hepinizin mutlaka incelemenizi tavsiye ettiğim bir proje, Avustralya Teleskop Ağı Australian Telescope Network.

Karmaşık Olay İşleme - Complex Event Processing (CEP)


CEP, çok merak ettiğim bir konuydu. Farklı kaynaklardan, farklı türdeki verilerden, alarm üretebilen, bayrak kaldırabilen, (neredeyse) gerçek zamanlı çalışan bir ''big brother''. Mark Seager, büyük veride bu konunun aşamalarını şu adımlarla özetledi:
 
  • Capture
  • Parse
  • Filter
  • Augment
  • Corralate
Büyük veriyi yönetmek ve teknolojiler

Oracle CEO'su (CEO olduğundan emin değilim, tek bildiğim iyi şekilde kesilmiş sakalları ve eli çenesindeki kendinden emin duruşunun bende yarattığı izlenim) Larry Elison'un geçenlerde sarf ettiği bir cümlenin bende bıraktığı izlenim çok olumsuzdu. Eğer, büyük verinizi en performanslı ve güvenilir biçimde yönetmek konusunda garanti istiyorsanız, bütün operasyonlarınızı Oracle donanım ve yazılım yığını üzerine kurmalısınız. Böyle bir yaklaşım, çamaşırlarının bembeyaz olmasını isteyen anneme, deterjan seçimi ve program seçimi konusunda hiçbir çözüm bırakmıyor. Ya da TV izlerken, tek kanal dönemine dönün demek gibi birşey çağrıştırıyor, esneklik yok. Bir CIO ne ister? Bir PM ne ister? Bir müşteri ne ister? Anahtar isim tamlaması; Herşeyin en iyisini! ''The best of the breed''.
Mark Seager, bu konuda çok hoşuma giden birşey söyledi. Büyük veriyi yönetmek için, bulut bilişimi, XaaS hizmetlerini sadece maliyet kurtarıcı seçenekler olarak düşünmeyin, operasyonel olarak alabileceğiniz en iyi hizmeti alabileceğiniz bir araç kiti olarak görün diyor. Ardından da ilk olarak işaret ettiği teknoloji Hadoop.

Hadoop, MapReduce, BigTable, NoSQL

Bu konuda hemen maddelerimi sıralıyorum: 

  • İlişkisel veritabanları verilerin çeşitliliğini destekleme konusunda yetersiz,
  • İlişkisel veritabanlarında yatay büyüme, maliyetli, zor, yönetimi can sıkıcı,
  • Veri çeşitliliği konusunda bir şemaya bağlı kalmak büyük veri içerisinde aşılması gereken en önemli sorunlardan birisi.
  • Ölçeklenebilirlik kaçınılmaz.
Başlıkta belirttiğim konulardan Hadoop bir teknoloji olarak 2007 yılından bugüne kullanılıyor. MapReduce ise Hadoop ve benzeri teknolojiler üzerinde uygulamak istediğiniz işlemlerinizi yapabileceğiniz bir algoritmalar bütünü. Bilgisayar bilimlerindeki fonksiyonel programlama ve lambda teorisini burada referans olarak verebilirim. BigTable, Google'ın kendi özel teknolojisi. NoSQL ise sanılanın aksine SQLdeğil. Benzer yanılgıya Bob Marleyin No Woman No Cry şarkısını ilk kez dinleyen birisi de düşebiliyor. Açılımı Not Only SQL. Yani daha geniş bir çözüm yelpazesinden söz ediyoruz. Ama hepsinin üzerinde durduğu ve ele aldığı konu büyük verinin işlenmesi. Mark Seager, 101 tarzında bir şema üzerinde Hadoop ile ilgili bilgiler de verdi. Ayrıntılarına sunumunu indirerek erişebilirsiniz.

http://www.komtas.com/bilgi-merkezi

Bulut Bilişim ve Türkiye

Mark Seager'ın bir başka vurgusu da konuşmasının başlarında, Türkiye'deki ilerlemenin göreceli olarak yavaş olduğu yönündeydi. Benim bu konudaki kişisel görüşüm biraz daha agresif. Yavaşlıktan öte bir direniş görüyorum. Varolan siloların ardında daha ne kadar direnecekler bunu kestirmek zor. Endişelerin olduğu da malum.


  • Güvenlik
  • Güvenilirlik
Bu endişelerin ilk iki başlığını oluşturuyor. Alistair Seaton ve Dr. Hayretdin Bahşi'nin sunumlarını dinlerken de, bu konuları düşünerek yanıtlar bulmaya çalıştım. Örneğin, bir SaaS altyapısı olarak Salesforce kullanmanın ne gibi güvenlik ve güvenililrlik sorunları yaratabileceğinin çok iyi araştırılması lazım. Verinin ABD ya da Avrupa'daki bir sunucu kümesinde yer alması rahatsızlık verir gibi bir ifade kullanan kişinin, akıllı telefonundan e-postalarının Kanada üzerinden kendisine iletilmesine bir itirazı olmuyorsa, neden gizlililik politikiları son derece katı servis sağlayıcılarına güvenemediğini sorgulamak gerekiyor.

En güvenli sistem kapatılmış olandır


Dr. Hayretdin Bahşi'nin söylediği bu söz gerçekten ilgi çekici. Tüm sistemlerinizin fişini çekip kapattığınızda belki en güvenli hale geliyorsunuz. Dr. Hayretdin Bahşi bu konuda ''Risklerin Yönetilmesi'' gerektiğinden söz etti, yani amacımız ''Riski Minimize'' etmek değil. Veri Yönetimi ile ilgili güvenlik politikalarının hazırlanmasında ne kadar yetersiz kalınabilir. Komplo teorileri, değişen saldırgan profilleri ve tabi ki uzun dönemli hedeflere hitap edecek saldırılar. Aslında Dr. Bahşi'nin dikkati çekmek istediği nokta APT yani Advanced Persistent Threats idi. Uzun vadede bilgi birikimini çalmayı, ele geçirmeyi hedefleyen saldırılardan söz etti. Günümüz siber savaşlarının ardında yatan en önemli neden de bu zaten. Sık sık okuduğumuz, ABD-Çin ya da ABD-Kuzey Kore mücadeleleri bu konudan kaynaklanıyor.

Verinize güveniyor musunuz?
 
Alistair Seaton'ı dinlerken oturduğum sandalyeden kaydığımı ve kendimi saklamak istediğimi hissettim. Yıllarca yazılım projelerinde çalışmış ve yönetmiş birisi olarak, hiçbir zaman dikkat etmediğim bir konuyu ve yaratabileceği sıkıntıları anlattı. Geliştiricileriniz ya da test uzmanlarınız uygulamaları test etmek istediğinde ve veriye ihtiyaçları olduğunu söylediğinde ne yapıyorsunuz? Gerçek verilerden hazırlanmış bir buket sunup, alın burada test edin mi diyorsunuz. Eee, evet. Ama durun bunu yapmayın ya da artık yapmayın. Alistair Seaton'ın saydığı Shifting Substitution, Using Constants, Special Credit Card Techniques gibi bir takım tekniklerle mutlaka verinizi anonimize edin. Kişisel olarak kendi projelerimde artık bunu mutlaka yapacağım.

Sonuçlar
 
Return on data = (Value of Data) / (Cost of Data)

Verinizi, büyüyen ve değişen verinizi yönetmek için harcadığınız kaynakları hesaplayın. Verinizin ne kadar değerli olduğunu belirleyin. ROI (Return on Investment) kavramını hep duymuşuzdur. Yatırımınızın geri dönüşünü ifade eder. Bu formül de verinizin ne kadar zamanda ve ne ölçüde işinize değer katacağını gösteriyor. Informatica bu konuda harika bir tanıtım videosu hazırlamış, izlemenizi öneriyorum.

http://www.youtube.com/watch?v=xsb2Ex7flQQ&feature=player_embedded

Büyük veri bir sonuç ve sonuçları ele almaya ve yönetmeye hazır olun. Hedef, büyüyen veriyi değere dönüştürmek için tüm kaynaklarınızı bu stratejiye göre kurgulayın. Bulut Bilişim ve XaaS sadece bütçe koruyucu değildir. Çevik ve esnek IT işletim ortamlarına sahip olmanızı sağlar. Mobil uygulamalar ve Kişisel Verimlilik 2.0 günümüzün en popüler konularından birisi. Bu kaynaklardan ve uygulamalardan edinilebilecek veriler karınızı artırabilir.

Yazının Kapsamı Dışındaki Konular

MDM konusunda iki önemli sunum da yer almıştı.


  • MDM hakkında çok az bilgisi ve ilgisi olan biri olarak, bu konuda sadece birşeyler söylemek için yer işgal etmenin bir gereği yok. KOMTAŞ Bilgi Yönetimi uzmanları size bu konuda en iyi bilgiyi ve çözümleri sunacaktır.
  • KOMTAŞ Bilgi Yönetiminin misafirperverliğinden de bahsetmedim. Ancak, bu kadar çok profesyoneli bir arada, mükemmel bir ortamda ağırlamak ve organize etmek konusunda dört dörtlük bir özveri gösterdiler. Tüm KOMTAŞ Bilgi Yönetimi çalışanlarına teşekkür ediyorum.



SELÇUK BOZDAĞ

 
KOMTAŞ Bilgi Yönetimi ve Danışmanlık - Yazılım Ekip Lideri
 
2002 yılında Hacettepe Üniversitesi Bilgisayar Bilimleri ve Mühendisliği Bölümünden mezun oldu.
2002 - 2007 arası Ankara'da yazılım mühendisliği ve uzman yazılım mühendisi olarak çalıştıktan sonra 2007 - 2010 yılları arasında yurtdışında yazılım ekip liderliği yaptı.

2010 yılında Türkiye'ye döndü ve KOMTAŞ Bilgi Yönetimi'nde ArGe departmanında ekip lideri olarak göreve başladı. Halen bu görevini devam ettiren Selçuk, kurumsal veri analizi yazılımları ve yüksek performanslı bilişim konularıyla ilgilenmektedir.