Google, OpenAI'nin GPT-4 büyük dil modelinden (LLM) daha güçlü olduğunu iddia ettiği ve heyecanla beklenen AI modeli Gemini'yi resmi olarak sergiledi ve zeka testinde "uzman düzeyindeki" insanlara rakip olabileceğini söyledi.
CEO Sundar Pichai'nin şirketin mayıs ayındaki I/O konferansında ilk kez tanıttığı model üç farklı versiyonda gelecek: Nano, Pro ve Ultra; en yeteneklisi ve GPT-4'ü geride bırakabileceği iddia edilen Ultra.
Resmi bir blog gönderisine göre, "Gemini Pro'nun ince ayarlı bir sürümü" zaten Google'ın Bard sohbet robotuna entegre edildi . Ultra hala "kapsamlı güven ve güvenlik kontrollerinden" ve "ince ayarlardan" geçiyor ancak sonunda Bard'a da "gelecek yılın başlarında" yerleştirilecek.
Ancak şirketin bugün paylaştığı bazı basit video gösterilerinin ötesinde, Google'ın en son yapay zekası hakkında bildiğimiz hemen hemen hepsi bu. Örneğin, kaç parametreye sahip olduğunu veya hangi verilere göre eğitildiğini bilmiyoruz, bu da rakip yapay zeka modelleriyle elmalar arasında doğru bir karşılaştırma yapılmasını imkansız hale getiriyor.
Bu , herhangi bir yapay zeka modelinin zekasını ölçmek için genel olarak üzerinde anlaşmaya varılan, endüstri standardı bir kıyaslamanın bariz eksikliğinden bahsetmiyor .
Temel olarak, bazı pazarlama saçmalıkları duyduk ve şimdi şirketin kanıtlaması gereken çok şey var.
Blog yazısına göre Gemini "doğal olarak çok modludur", yani "metin, kod, ses, görüntü ve video gibi farklı bilgi türlerini birleştirebilir".
Bir dizi videoda Google, Gemini'nin yeteneklerini gösterdi. Videolardan birinde mavi ördek çizimini doğru şekilde tanımlayan bir program gösteriliyor. Ayrı bir video, yapay zekanın bir öğrencinin matematik sorularına verdiği yanıtları okuduğunu ve öğrencinin neden doğru ya da yanlış olduğunu açıkladığını gösteriyor.
Peki OpenAI'nin rakip GPT-4'üyle gerçekten nasıl karşılaştırılıyor?
Bugün yapılan duyuruda şirket, Gemini Ultra modelinin "matematik, fizik, tarih, hukuk, tıp ve etik gibi 57 konunun bir kombinasyonunu test etmek için kullanan" MMLU (büyük çoklu görev dil anlama) testinde yüzde 90 puan aldığını iddia etti. dünya bilgisi ve problem çözme yetenekleri."
Bu da onu testte "insan uzmanlardan daha iyi performans gösteren ilk model" yapıyor. "Uzman seviyesindeki" insanlar yalnızca yüzde 89,8 puan alıyor.
Google'a göre GPT-4 testte yalnızca yüzde 86,4 puan aldı. Ancak Google'ın Bard sohbet robotuna entegre edilen orta sınıf Gemini Pro modeli, aynı testte yalnızca GPT-3.5'i geçmeyi başardı .
Başka bir deyişle, Google'ın bugün yayınladığı verilere göre bu hâlâ son derece zorlu bir yarış.
Bir basın toplantısında Google DeepMind ürün başkan yardımcısı Eli Collins, Gemini'nin mevcut nesil LLM'lerle karşılaştırıldığında yeni yetenekleri olup olmadığı sorulduğunda "Öyle olduğundan şüpheleniyorum" dedi ki bu en iyi ihtimalle belirsiz bir cevaptı.
Collins ayrıca Gemini'nin, şirketin bugüne kadar ürettiği tüm yapay zeka modelleri arasında "en kapsamlı güvenlik değerlendirmelerinden" geçtiğini, bunun da Google'ın lansmanını neden ertelemek zorunda kaldığını açıklayabileceğini söyledi.
Şirket ayrıca parametre sayısını yayınlamayacağını ve bunun da karşılaştırmaları zorlaştırabileceğini söyledi.
Google, Gemini'nin ötesinde, bu yılın başlarında şirketin arama motoru sonuçlarını iyileştirmeyi amaçlayan "deneysel" Arama Üretken Deneyimini de sergiledi. Ancak şu ana kadar gördüklerimiz göz önüne alındığında, aracın arzulanan çok şey bıraktığı görülüyor .
Kısacası jüri, şiddetli rekabeti ile karşılaştırıldığında Gemini'nin nerede durduğu konusunda hâlâ oldukça kararsız.
Ve bunun yakın zamanda değişmesi pek mümkün değil. Collins'in gazetecilere söylediği gibi, bugün itibarıyla Bard kullanıcıları yalnızca metin komutlarını kullanabilecek, görüntü ve ses etkileşimi ise yalnızca "önümüzdeki aylarda" yayınlanacak.
Google'ın GPT-4'ten daha iyi performans gösterebileceğini iddia ettiği Gemini Ultra bile prime time'a henüz hazır değil, bu da kesin sonuçlara varıncaya kadar beklememiz gerektiği anlamına geliyor.
CEO Sundar Pichai'nin şirketin mayıs ayındaki I/O konferansında ilk kez tanıttığı model üç farklı versiyonda gelecek: Nano, Pro ve Ultra; en yeteneklisi ve GPT-4'ü geride bırakabileceği iddia edilen Ultra.
Resmi bir blog gönderisine göre, "Gemini Pro'nun ince ayarlı bir sürümü" zaten Google'ın Bard sohbet robotuna entegre edildi . Ultra hala "kapsamlı güven ve güvenlik kontrollerinden" ve "ince ayarlardan" geçiyor ancak sonunda Bard'a da "gelecek yılın başlarında" yerleştirilecek.
Ancak şirketin bugün paylaştığı bazı basit video gösterilerinin ötesinde, Google'ın en son yapay zekası hakkında bildiğimiz hemen hemen hepsi bu. Örneğin, kaç parametreye sahip olduğunu veya hangi verilere göre eğitildiğini bilmiyoruz, bu da rakip yapay zeka modelleriyle elmalar arasında doğru bir karşılaştırma yapılmasını imkansız hale getiriyor.
Bu , herhangi bir yapay zeka modelinin zekasını ölçmek için genel olarak üzerinde anlaşmaya varılan, endüstri standardı bir kıyaslamanın bariz eksikliğinden bahsetmiyor .
Temel olarak, bazı pazarlama saçmalıkları duyduk ve şimdi şirketin kanıtlaması gereken çok şey var.
Blog yazısına göre Gemini "doğal olarak çok modludur", yani "metin, kod, ses, görüntü ve video gibi farklı bilgi türlerini birleştirebilir".
Bir dizi videoda Google, Gemini'nin yeteneklerini gösterdi. Videolardan birinde mavi ördek çizimini doğru şekilde tanımlayan bir program gösteriliyor. Ayrı bir video, yapay zekanın bir öğrencinin matematik sorularına verdiği yanıtları okuduğunu ve öğrencinin neden doğru ya da yanlış olduğunu açıkladığını gösteriyor.
Peki OpenAI'nin rakip GPT-4'üyle gerçekten nasıl karşılaştırılıyor?
Bugün yapılan duyuruda şirket, Gemini Ultra modelinin "matematik, fizik, tarih, hukuk, tıp ve etik gibi 57 konunun bir kombinasyonunu test etmek için kullanan" MMLU (büyük çoklu görev dil anlama) testinde yüzde 90 puan aldığını iddia etti. dünya bilgisi ve problem çözme yetenekleri."
Bu da onu testte "insan uzmanlardan daha iyi performans gösteren ilk model" yapıyor. "Uzman seviyesindeki" insanlar yalnızca yüzde 89,8 puan alıyor.
Google'a göre GPT-4 testte yalnızca yüzde 86,4 puan aldı. Ancak Google'ın Bard sohbet robotuna entegre edilen orta sınıf Gemini Pro modeli, aynı testte yalnızca GPT-3.5'i geçmeyi başardı .
Başka bir deyişle, Google'ın bugün yayınladığı verilere göre bu hâlâ son derece zorlu bir yarış.
Bir basın toplantısında Google DeepMind ürün başkan yardımcısı Eli Collins, Gemini'nin mevcut nesil LLM'lerle karşılaştırıldığında yeni yetenekleri olup olmadığı sorulduğunda "Öyle olduğundan şüpheleniyorum" dedi ki bu en iyi ihtimalle belirsiz bir cevaptı.
Collins ayrıca Gemini'nin, şirketin bugüne kadar ürettiği tüm yapay zeka modelleri arasında "en kapsamlı güvenlik değerlendirmelerinden" geçtiğini, bunun da Google'ın lansmanını neden ertelemek zorunda kaldığını açıklayabileceğini söyledi.
Şirket ayrıca parametre sayısını yayınlamayacağını ve bunun da karşılaştırmaları zorlaştırabileceğini söyledi.
Google, Gemini'nin ötesinde, bu yılın başlarında şirketin arama motoru sonuçlarını iyileştirmeyi amaçlayan "deneysel" Arama Üretken Deneyimini de sergiledi. Ancak şu ana kadar gördüklerimiz göz önüne alındığında, aracın arzulanan çok şey bıraktığı görülüyor .
Kısacası jüri, şiddetli rekabeti ile karşılaştırıldığında Gemini'nin nerede durduğu konusunda hâlâ oldukça kararsız.
Ve bunun yakın zamanda değişmesi pek mümkün değil. Collins'in gazetecilere söylediği gibi, bugün itibarıyla Bard kullanıcıları yalnızca metin komutlarını kullanabilecek, görüntü ve ses etkileşimi ise yalnızca "önümüzdeki aylarda" yayınlanacak.
Google'ın GPT-4'ten daha iyi performans gösterebileceğini iddia ettiği Gemini Ultra bile prime time'a henüz hazır değil, bu da kesin sonuçlara varıncaya kadar beklememiz gerektiği anlamına geliyor.