Makine öğrenimi iş yükleri için oluşturulan servis ağları, dinamik ve yüksek hacimli çıkarım trafiğini ince taneli trafik yönetimiyle ele alırken, geleneksel API ağ geçitleri standart mikro hizmetler için istek yönlendirme, kimlik doğrulama ve hız sınırlamasına odaklanır. Bunlar arasında seçim yapmak, öncelikli endişenizin makine öğrenimine özgü gözlemlenebilirlik ve model sürümleme mi yoksa genel amaçlı API düzenlemesi mi olduğuna bağlıdır.
Makine öğrenimi hizmetleri arasındaki iletişimi yönetmek, çıkarım trafiğini ele almak, model sürümlemeyi ve GPU'ya duyarlı yönlendirmeyi sağlamak üzere tasarlanmış bir altyapı katmanı.
API isteklerini yönlendiren, kimlik doğrulamayı sağlayan, hız sınırlamaları uygulayan ve arka uç hizmetleri için veri paketlerini dönüştüren merkezi bir giriş noktası.
| Özellik | Makine Öğrenimi için Servis Ağı | Geleneksel API Ağ Geçitleri |
|---|---|---|
| Birincil Kullanım Senaryosu | ML çıkarım trafiği yönetimi ve model sürümleme | Genel API istek yönlendirme ve düzenleme |
| Trafik Modeli | Doğu-batı (hizmetler arası) ve yüksek hacimli çıkarım çağrıları | Kuzey-güney (istemci-hizmet) istek-yanıt |
| Dağıtım Modeli | Her servisin yanında bulunan Sidecar proxy'si (örneğin, Envoy, Linkerd-proxy). | Ağ kenarına yerleştirilmiş merkezi ağ geçidi. |
| Model Sürümleme Desteği | Kanarya ve mavi-yeşil model uygulamaları için yerel trafik bölme | Sınırlı; genellikle özel yönlendirme kuralları gerektirir. |
| Gözlemlenebilirlik | İstek bazlı ölçümler, dağıtılmış izleme ve makine öğrenimine özgü telemetri. | Toplu ölçümler, temel günlük kaydı ve istek sayıları |
| Güvenlik Özellikleri | Hizmetler arasında otomatik mTLS, ayrıntılı yetkilendirme politikaları | API anahtarı doğrulama, OAuth 2.0, JWT ve IP beyaz listeleme |
| GPU'ya Duyarlı Yönlendirme | GPU kullanılabilirliğine ve kaynak kullanımına bağlı olarak yönlendirme yapılabilir. | Yerel olarak desteklenmiyor |
| Gecikme Ek Yükü | Sidecar işlemesi nedeniyle her atlama için genellikle 1-3 ms sürer. | Genellikle tek aşamalı ağ geçidi aramaları için daha düşüktür. |
| En Uygun Olduğu Kişi | Mikroservisler içeren Kubernetes tabanlı makine öğrenimi platformları | Herkese açık API'ler, mobil arka uçlar ve monolitik hizmet sunumu |
Servis ağları, özellikle ekiplerin yeni model sürümlerini kademeli olarak kullanıma sunması gerektiğinde, makine öğrenimi sistemlerinin oluşturduğu karmaşık trafik modellerini yönetmede mükemmeldir. Altyapı düzeyinde model sürümleri arasında trafiği bölmenize olanak tanırlar; böylece isteklerin %5'inde yeni bir model çalıştırırken, geri kalanında eski model kullanılabilir. Geleneksel API ağ geçitleri, özel yönlendirme kuralları aracılığıyla benzer bölmeleri sağlayabilir, ancak model sürümleme göz önünde bulundurularak tasarlanmadıkları için yapılandırmaları daha kırılgan ve büyük ölçekte bakımı daha zor hale getirirler.
Makine öğrenimi çıkarım hattında bir sorun oluştuğunda, sorunun modelden mi, veriden mi yoksa ağdan mı kaynaklandığını bilmeniz gerekir. Servis ağları, bir isteği birden fazla serviste izleyen, her adımda gecikmeyi yakalayan ve bunu belirli model sürümleriyle ilişkilendiren dağıtılmış izleme sağlar. API ağ geçitleri iyi bir günlük kaydı ve metrik sunar, ancak genellikle ağ geçidi sınırında dururlar ve servis ağınızda veya mikro servis ortamınızda neler olduğunu kendiniz bir araya getirmeniz gerekir.
Her iki yaklaşım da güvenliği ciddiye alıyor, ancak farklı sorunları çözüyorlar. Servis ağları, hassas çıkarım verilerinin düzinelerce mikro servis arasında aktığı durumlarda önemli olan, tüm servisler arası iletişimi mTLS ile otomatik olarak şifreleyerek sıfır güven ağını uyguluyor. API ağ geçitleri ise çevre güvenliğine odaklanarak, gelen isteklerin arka uca ulaşmadan önce meşru olduğunu doğruluyor. Sağlık veya finansal bilgiler gibi düzenlemeye tabi verileri işleyen makine öğrenimi sistemleri için, her iki katmanı birleştirmek genellikle en mantıklı çözüm oluyor.
Makine öğrenimi iş yükleri, genellikle GPU'ya bağımlı ve bellek yoğun oldukları için tipik web servislerinden farklı davranırlar. Bazı servis ağı uygulamaları, GPU kullanılabilirliğine bağlı olarak istekleri yönlendirmek ve trafiği kullanılabilir hızlandırıcı kapasitesine sahip düğümlere göndermek üzere yapılandırılabilir. Geleneksel API ağ geçitlerinin altta yatan donanım kaynakları kavramı yoktur ve her arka ucu kara kutu olarak ele alırlar. Bu durum, bir dizi çıkarım sunucusu genelinde pahalı GPU kullanımını en üst düzeye çıkarmanız gerektiğinde onları daha az verimli hale getirir.
Servis ağları, her servisin dağıtılması, izlenmesi ve güncellenmesi gereken bir yan proxy'ye sahip olması nedeniyle ek operasyonel yük getirir. Kubernetes'e zaten aşina olan bir ekip için bu yönetilebilir, ancak bir öğrenme eğrisi ekler. API ağ geçitleri genellikle tek bir bileşen oldukları için kullanımı daha basittir, ancak Apigee gibi kurumsal ağ geçitleri, geliştirici portalları ve API ürün yönetimi konusunda kendi karmaşıklıklarını da beraberinde getirir.
Servis ağlarındaki yan uygulama modeli, her adımda genellikle birkaç milisaniyelik gecikme ekler ve bu gecikme, derin mikro servis zincirlerinde birikerek artabilir. Gerçek zamanlı öneri sistemleri gibi gecikmeye duyarlı makine öğrenimi uygulamaları için bu ek yük önemlidir. API ağ geçitleri, gecikmeyi yalnızca uç noktada bir kez ekler ve bu da onları basit istek-yanıt modelleri için daha tahmin edilebilir hale getirir. Bununla birlikte, bir servis ağını büyük ölçekte çalıştırmanın operasyonel maliyeti, azaltılmış hata ayıklama süresi ve makine öğrenimi modelleri için daha iyi dağıtım güvenliği ile dengelenebilir.
Servis ağları ve API ağ geçitleri aynı işi yapar ve yalnızca birine ihtiyacınız vardır.
Bunlar farklı amaçlara hizmet eder. API ağ geçitleri uç noktada kuzey-güney trafiğini yönetirken, hizmet ağları hizmetler arasında doğu-batı trafiğini yönetir. Birçok kuruluş her ikisini de eş zamanlı olarak çalıştırır ve her biri en iyi yaptığı işi yapar.
API ağ geçitleri, makine öğrenimi modeli sürümleme işlemlerini tıpkı bir servis ağı kadar iyi yönetebilir.
API ağ geçitleri başlıklar veya yollar temelinde yönlendirme yapabilir, ancak servis ağlarının sunduğu dağıtım sistemleriyle derin entegrasyondan yoksundurlar. Sorunlu bir model sürümünü geri almak, servis ağı ile daha hızlı ve güvenlidir çünkü trafik bölmeleri ağ geçidi yapılandırmalarını yeniden dağıtmaya gerek kalmadan dinamik olarak ayarlanabilir.
Servis ağları, üretim amaçlı makine öğrenimi sistemleri için çok fazla gecikmeye neden oluyor.
Envoy ve Linkerd-proxy gibi modern sidecar proxy'ler, çoğu kıyaslamada her adımda yalnızca 1-3 milisaniye ekler. Çoğu makine öğrenimi çıkarım iş yükü için, bu ek yük, genellikle 10-100 milisaniye veya daha fazla olan gerçek model çıkarım süresine kıyasla ihmal edilebilir düzeydedir.
Eğer zaten bir API ağ geçidiniz varsa, bir servis ağına ihtiyacınız yoktur.
Bir API ağ geçidi çevre güvenliğinizi korur, ancak dahili hizmetler arasındaki trafiği güvence altına almaz veya gözlemlemez. Düzinelerce hizmet içeren bir mikro hizmet mimarisinde, bir hizmet ağı, bir API ağ geçidinin sağlayamayacağı sıfır güvenliğe dayalı güvenlik ve gözlemlenebilirlik sunar.
Servis ağları yalnızca Kubernetes ortamları için kullanışlıdır.
Servis ağları en yaygın olarak Kubernetes ile ilişkilendirilse de, Consul Connect ve Linkerd gibi uygulamalar sanal makinelerde ve fiziksel sunucularda çalışabilir. Sidecar modeli, bir uygulamanın yanına bir proxy dağıtabileceğiniz her yerde çalışır.
Altyapınız sık model güncellemeleri ve karmaşık hizmetler arası iletişim içeren Kubernetes tabanlı makine öğrenimi platformlarına odaklanıyorsa, makine öğrenimi iş yükleri için özel olarak tasarlanmış bir hizmet ağı size daha iyi kontrol ve gözlemlenebilirlik sağlayacaktır. Harici istemcilere veya mobil uygulamalara birkaç makine öğrenimi uç noktası sunan kuruluşlar için geleneksel bir API ağ geçidi yönetimi daha basittir ve iş için yeterlidir. Birçok üretim sistemi her ikisini de kullanır; API ağ geçidi harici trafiği, hizmet ağı ise dahili makine öğrenimi hizmeti iletişimini yönetir.
Araçlardaki uç bilişim, anlık yanıtlar için verileri araç içinde yerel olarak işlerken, bulut tabanlı işlem ise daha kapsamlı analizler için bilgileri uzaktaki veri merkezlerine gönderir. Her yaklaşım, modern otomotiv sistemleri için gecikme süresi, güvenilirlik ve işlem gücü açısından farklı avantajlar ve dezavantajlar sunar.
Bu karşılaştırma, Amazon Web Services ve Google Cloud'un hizmet tekliflerini, fiyatlandırma modellerini, küresel altyapısını, performansını, geliştirici deneyimini ve ideal kullanım senaryolarını analiz ederek, kuruluşların teknik ve iş gereksinimlerine en uygun bulut platformunu seçmelerine yardımcı olmaktadır.
Bayt ofset kontrol noktası oluşturma ve durumsuz kurtarma, dağıtık sistemlerde hata toleransına yönelik temelde farklı yaklaşımları temsil eder; ilki kesin devam etme yeteneği için tam akış konumlarını korurken, ikincisi depolama yükünü yeniden yapılandırma kolaylığıyla takas ederek, değişmez veri kaynaklarını kullanarak durumu sıfırdan yeniden oluşturur.
Blockchain altyapı planlaması, değiştirilemez defterler ve mutabakat mekanizmalarına sahip merkeziyetsiz, dağıtılmış ağların tasarlanmasına odaklanırken, bulut altyapı planlaması ise AWS, Azure ve Google Cloud gibi merkezi sağlayıcılar aracılığıyla ölçeklenebilir, isteğe bağlı bilgi işlem kaynaklarının oluşturulmasına odaklanır.
Bulut işleme, verileri merkezi uzak veri merkezlerinde işleyerek muazzam ölçeklenebilirlik ve hesaplama gücü sunar. Uç işleme ise hesaplamayı verinin üretildiği yere daha yakın hale getirerek gecikmeyi ve bant genişliği kullanımını azaltır. Her iki yaklaşım da modern dağıtık sistemlerde farklı ihtiyaçlara hizmet eder.
