Yapay Zeka dönemi BT sektöründeki önceki dönemlerden çok farklı bir havaya sahip. Yenilik hızı ve yatırım miktarı nefes kesici. OpenAI'ın ChatGPT'yi piyasaya sürmesinden bu yana geçen iki kısa yılda, önceden eğitilmiş büyük dil modelleriyle anında yanıt verme ve küçük dil modellerine, geri alma ile zenginleştirilmiş üretime ve şimdi de aracı AI'ya doğru bir koşu yaşandı.
Ancak araştırma ve geliştirme baş döndürücü bir hızla ilerlerken, Red Hat'in AI İş Birimi başkan yardımcısı ve genel müdürü Joe Fernandes'e göre çoğu işletme hala başlangıç çizgisinden çok da uzakta değil. Ancak Fernandes, teknolojiyi benimsemeye ve dağıtmaya devam etmek için planlarla donatılmış olduklarını söylüyor.
Fernandes Konuştuğum hemen hemen her kurumsal müşteri, üretken AI stratejisinin ne olacağını anlamaya çalışıyor diyor, kurumlar ya kullanım örnekleri yürütüyor ya da bazı ilk pilotları veya kavram kanıtlarını uyguluyor. Bazıları daha ileride ve aslında bazı kullanım örneklerini üretime koyuyor. Bu yolculuğun henüz çok başındayız ve bu sonunda bu işletmelerde yaygınlaşacak. Bu sadece bir moda' diyen bir kurumsal müşteriyle henüz tanışmadım.
Fernandes, şu anda çoğunun en az dirençli yoldan gittiğini söylüyor ve ekliyor: Hepsi bildikleri şeyle başlıyor yani 'ChatGPT, GPT-4 hakkında bilgim var.' OpenAI bir yol, Azure OpenAI, belki Google. Kullanılan bu hizmetler ve bu sınır modelleri var.
Fernandes, işletmelerin teknolojiyi benimserken çözmeleri gereken birçok sorun olduğunu, maliyetleri yönetmekten yetenekli yetenekler bulmaya ve istedikleri şekilde kullanmak için doğru yapıyı oluşturmaya kadar her şeyin olduğunu söylüyor. Gerekli adımları attıklarını söylüyor.
Fernandes, "Hepsi bu ilerlemede, bir modeli teşvik etmek, hızlı ayarlama yapmak ve hızlı mühendislik yapmak gibi," diyor. "Herkesin başladığı yer burası. Sonra bunun yalnızca modelde olanı etkilediğini anlıyorsunuz. Modelde olmayanı etkilemiyor. Bunu RAG veya ince ayarla birleştirmek bir nevi ikinci adım. Bu sizi, insanların üretime veya pilot uygulamaya koyduğunu düşündüğüm mevcut kullanım örnekleri kümesinin yoluna daha da yaklaştırır; bunlar chatbot kullanım örnekleri, özetleme, sınıflandırmadır."
Daha sonra, sistemlerin sorunları çözmek ve kendilerine verilen talimatları ele almak için daha özerk bir şekilde çalışmasını sağlayan aracısal AI gelir. Bu tür özerk sistemler tek atışlı istek-yanıtın ötesine geçer. Bunun yerine, daha fazla iş akışı oluşturmak için yürütülmesi gereken birden fazla adım vardır.
"İnsanlar bu düşünceye yeni başlıyor. İşlerin bundan sonra nereye gideceği açıkça belli," diyor. "Ancak insanların mevcut araç setiyle, örneğin tek atışlık bir tepki modelinde, istem, RAG, ince ayar gibi, hâlâ yapabileceği çok şey var. Bunlardan hâlâ elde edebileceğiniz çok fazla değer var, ancak bu değer, bu daha karmaşık ajan sistemlerini bir araya getirmeye başladıkça katlanarak artıyor."
Fernandes, aracı AI ile değer arttıkça, ihtiyaç duyulan altyapı göz önüne alındığında maliyetlerin ve karmaşıklığın da arttığını belirtiyor. Verilerin uç nokta da dahil olmak üzere birden fazla konumdan gelebileceği ve iş yükünün bulutta şirket içinde çalıştırılabileceği göz önüne alındığında, esnekliğe de ihtiyaç duyuluyor. Bunlar, Red Hat'in ele almak istediği AI alanlarıdır diyor.
RHEL AI 1.3 ayrıca IBM Research'ün ortak belge biçimlerini ayrıştırıp bunları Markdown ve JSON gibi diğer biçimlere dönüştürerek AI eğitimi ve uygulamaları için hazırlayan bir topluluk projesi olan Docling'i de destekler. Red Hat'in en son platformunda, kuruluşlar PDF'leri IBM'in LLM'leri geliştirmek için açık kaynaklı bir projesi olan InstructLab ile kullanılabilen Markdown'a dönüştürebilir.
Ek olarak, en son platform sürümü Gaudi 3, bir hızlandırıcı ve Intel'in Nvidia'nın en son Blackwell ailesi de dahil olmak üzere oldukça başarılı GPU'larına verdiği yanıt için destek ekliyor. RHEL AI 1.3 halihazırda Nvidia ve AMD GPU'larını destekliyor. RHEL AI ayrıca yakında Amazon Web Services' (AWS') ve Microsoft Azure'un bulut pazar yerleri aracılığıyla da kullanılabilir olacak.
Zaten RHEL AI'yı destekleyen OpenShift AI, birden fazla düğümde paralel hizmeti desteklemek için vLLM çalışma zamanlarını kullanarak etki alanını genişletiyor; bu da gerçek zamanlı olarak birden fazla isteği işleyebileceği anlamına geliyor.
"IBM Research ile yaptığımız ortaklık ve IBM'in Granite modellerini açarak, InstructLab araçlarını açık kaynaklı hale getirerek ve Hydra gibi altyapılarda yaptıkları çalışmalarla açık kaynaklı çözümleri benimseme kararı, bu Red Hat AI çalışması bu iş birliği olmadan mümkün olmazdı" diyor.
Red Hat, IBM'in araştırma, yazılım, bulut ve diğer ekipleriyle çalışıyor ve danışmanlık ve satış erişiminden yararlanıyor. Fernandes, her iki satıcının da iş birliğinden elde ettiği karşılıklı faydaların bir örneği olarak IBM'in watsonx AI asistanına ve Red Hat'in AI tekliflerine işaret ediyor.
Fernandes, "RHEL AI, tek tek sunucularda çalıştırılan Linux tabanlı AI platformumuzdur" diyor. "Daha sonra tüm bu teknolojiyi alıp, bu çekirdeğe sahip olan ancak ek yeteneklere de sahip olan OpenShift AI'ya entegre ediyoruz, çünkü artık Kubernetes tabanlı dağıtılmış bir ortamda çalışıyorsunuz, bunun etrafında daha fazla yönetim ve MLOps yeteneğiniz var. Daha sonra RHEL AI ve OpenShift AI, watsonx'a entegre ediliyor ve watsonx bundan yararlanıyor. watsonx.data ve ardından watsonx.ai gibi daha geniş çözümler var, bunlar bir şekilde yukarıda ve etrafta ekleniyor."
Granite modelleri IBM'den kaynaklandı - hala ön eğitimi yapıyor ve açık kaynaklıydıancak Red Hat da bunları destekliyor ve gönderiyor, diyor. Benzer şekilde, InstructLab IBM Research tarafından geliştirildi, ancak bu mühendislik ekibi artık Red Hat'in bir parçası.
Ancak araştırma ve geliştirme baş döndürücü bir hızla ilerlerken, Red Hat'in AI İş Birimi başkan yardımcısı ve genel müdürü Joe Fernandes'e göre çoğu işletme hala başlangıç çizgisinden çok da uzakta değil. Ancak Fernandes, teknolojiyi benimsemeye ve dağıtmaya devam etmek için planlarla donatılmış olduklarını söylüyor.
Fernandes Konuştuğum hemen hemen her kurumsal müşteri, üretken AI stratejisinin ne olacağını anlamaya çalışıyor diyor, kurumlar ya kullanım örnekleri yürütüyor ya da bazı ilk pilotları veya kavram kanıtlarını uyguluyor. Bazıları daha ileride ve aslında bazı kullanım örneklerini üretime koyuyor. Bu yolculuğun henüz çok başındayız ve bu sonunda bu işletmelerde yaygınlaşacak. Bu sadece bir moda' diyen bir kurumsal müşteriyle henüz tanışmadım.
Fernandes, şu anda çoğunun en az dirençli yoldan gittiğini söylüyor ve ekliyor: Hepsi bildikleri şeyle başlıyor yani 'ChatGPT, GPT-4 hakkında bilgim var.' OpenAI bir yol, Azure OpenAI, belki Google. Kullanılan bu hizmetler ve bu sınır modelleri var.
MOMENTUM YÜKSELİYOR
Göstergeler şimdiye kadar yükseliş eğiliminde. Penn Üniversitesi Wharton Okulu'ndaki bir araştırma kolu olan AI at Wharton ve danışmanlık şirketi GBK Collective tarafından Ekim ayında yayınlanan bir çalışma ankete katılan 800'den fazla kıdemli iş liderinin haftalık üretken AI kullanımının 2023'teki %38'den bu yıl %72'ye çıktığını buna yeni teknolojilerin benimsenmesinin daha yavaş olma eğiliminde olduğu pazarlama ve İK gibi departmanlardaki önemli büyümenin de dahil olduğunu buldu %55'i işlevler genelinde üretken AI kullandıklarını ve teknolojiye yapılan harcamaların geçen yıldan bu yana %130 arttığını ve %72'si üretken AI bütçelerinin 2025'te tekrar artacağını çoğunun 5 milyon dolardan fazla olacağını beklediklerini söyledi. Bununla birlikte, %57'si, muhtemelen ilk yatırımlarından yatırım getirisi aradıkları ve işletmelerin girişimlerini desteklemek için organizasyonel yapılar geliştirmeye başladıkları için önümüzdeki yıllarda harcama artışlarının yavaşlamasını beklediklerini söyledi.Fernandes, işletmelerin teknolojiyi benimserken çözmeleri gereken birçok sorun olduğunu, maliyetleri yönetmekten yetenekli yetenekler bulmaya ve istedikleri şekilde kullanmak için doğru yapıyı oluşturmaya kadar her şeyin olduğunu söylüyor. Gerekli adımları attıklarını söylüyor.
Fernandes, "Hepsi bu ilerlemede, bir modeli teşvik etmek, hızlı ayarlama yapmak ve hızlı mühendislik yapmak gibi," diyor. "Herkesin başladığı yer burası. Sonra bunun yalnızca modelde olanı etkilediğini anlıyorsunuz. Modelde olmayanı etkilemiyor. Bunu RAG veya ince ayarla birleştirmek bir nevi ikinci adım. Bu sizi, insanların üretime veya pilot uygulamaya koyduğunu düşündüğüm mevcut kullanım örnekleri kümesinin yoluna daha da yaklaştırır; bunlar chatbot kullanım örnekleri, özetleme, sınıflandırmadır."
Daha sonra, sistemlerin sorunları çözmek ve kendilerine verilen talimatları ele almak için daha özerk bir şekilde çalışmasını sağlayan aracısal AI gelir. Bu tür özerk sistemler tek atışlı istek-yanıtın ötesine geçer. Bunun yerine, daha fazla iş akışı oluşturmak için yürütülmesi gereken birden fazla adım vardır.
"İnsanlar bu düşünceye yeni başlıyor. İşlerin bundan sonra nereye gideceği açıkça belli," diyor. "Ancak insanların mevcut araç setiyle, örneğin tek atışlık bir tepki modelinde, istem, RAG, ince ayar gibi, hâlâ yapabileceği çok şey var. Bunlardan hâlâ elde edebileceğiniz çok fazla değer var, ancak bu değer, bu daha karmaşık ajan sistemlerini bir araya getirmeye başladıkça katlanarak artıyor."
Fernandes, aracı AI ile değer arttıkça, ihtiyaç duyulan altyapı göz önüne alındığında maliyetlerin ve karmaşıklığın da arttığını belirtiyor. Verilerin uç nokta da dahil olmak üzere birden fazla konumdan gelebileceği ve iş yükünün bulutta şirket içinde çalıştırılabileceği göz önüne alındığında, esnekliğe de ihtiyaç duyuluyor. Bunlar, Red Hat'in ele almak istediği AI alanlarıdır diyor.
RHEL AI 1.3 PİYASAYA ÇIKTI
Bu amaçla, Red Hat bu hafta, kuruluşların kurumsal iş yükleri için üretken AI modelleri oluşturmak, test etmek ve çalıştırmak için kullanabileceği Linux tabanlı AI platformunun en son sürümü olan Red Hat Enterprise Linux (RHEL) AI'yı tanıttı. Şu anda mevcut olan RHEL AI 1.3, IBM tarafından Ekim ayında tanıtılan ve Apache 2.0 izin verici lisansı aracılığıyla açık kaynak topluluğuna sunulan 2 milyar ve 8 milyar parametre boyutlarında gelen uzman LLM'leri olan Granite modelleri 3.0'ı destekliyor.RHEL AI 1.3 ayrıca IBM Research'ün ortak belge biçimlerini ayrıştırıp bunları Markdown ve JSON gibi diğer biçimlere dönüştürerek AI eğitimi ve uygulamaları için hazırlayan bir topluluk projesi olan Docling'i de destekler. Red Hat'in en son platformunda, kuruluşlar PDF'leri IBM'in LLM'leri geliştirmek için açık kaynaklı bir projesi olan InstructLab ile kullanılabilen Markdown'a dönüştürebilir.
Ek olarak, en son platform sürümü Gaudi 3, bir hızlandırıcı ve Intel'in Nvidia'nın en son Blackwell ailesi de dahil olmak üzere oldukça başarılı GPU'larına verdiği yanıt için destek ekliyor. RHEL AI 1.3 halihazırda Nvidia ve AMD GPU'larını destekliyor. RHEL AI ayrıca yakında Amazon Web Services' (AWS') ve Microsoft Azure'un bulut pazar yerleri aracılığıyla da kullanılabilir olacak.
Zaten RHEL AI'yı destekleyen OpenShift AI, birden fazla düğümde paralel hizmeti desteklemek için vLLM çalışma zamanlarını kullanarak etki alanını genişletiyor; bu da gerçek zamanlı olarak birden fazla isteği işleyebileceği anlamına geliyor.
RED HAT'İN IBM İLE İŞBİRLİĞİ
Fernandes, Granite modelleri ve InstructLab gibi yapay zeka araçlarından yararlanma yeteneğinin, Red Hat ile ana şirketi IBM arasındaki yapay zeka alanındaki iş birliğini gösterdiğini ve bunun kısmen Big Blue'nun açık kaynaklı yazılımlara olan açıklığından kaynaklandığını söyledi."IBM Research ile yaptığımız ortaklık ve IBM'in Granite modellerini açarak, InstructLab araçlarını açık kaynaklı hale getirerek ve Hydra gibi altyapılarda yaptıkları çalışmalarla açık kaynaklı çözümleri benimseme kararı, bu Red Hat AI çalışması bu iş birliği olmadan mümkün olmazdı" diyor.
Red Hat, IBM'in araştırma, yazılım, bulut ve diğer ekipleriyle çalışıyor ve danışmanlık ve satış erişiminden yararlanıyor. Fernandes, her iki satıcının da iş birliğinden elde ettiği karşılıklı faydaların bir örneği olarak IBM'in watsonx AI asistanına ve Red Hat'in AI tekliflerine işaret ediyor.
Fernandes, "RHEL AI, tek tek sunucularda çalıştırılan Linux tabanlı AI platformumuzdur" diyor. "Daha sonra tüm bu teknolojiyi alıp, bu çekirdeğe sahip olan ancak ek yeteneklere de sahip olan OpenShift AI'ya entegre ediyoruz, çünkü artık Kubernetes tabanlı dağıtılmış bir ortamda çalışıyorsunuz, bunun etrafında daha fazla yönetim ve MLOps yeteneğiniz var. Daha sonra RHEL AI ve OpenShift AI, watsonx'a entegre ediliyor ve watsonx bundan yararlanıyor. watsonx.data ve ardından watsonx.ai gibi daha geniş çözümler var, bunlar bir şekilde yukarıda ve etrafta ekleniyor."
Granite modelleri IBM'den kaynaklandı - hala ön eğitimi yapıyor ve açık kaynaklıydıancak Red Hat da bunları destekliyor ve gönderiyor, diyor. Benzer şekilde, InstructLab IBM Research tarafından geliştirildi, ancak bu mühendislik ekibi artık Red Hat'in bir parçası.
