Yapay zekâ mimarisi
pgvector ve Pinecone gibi teknolojilerle RAG pipeline'ları kuruyor, agent akışlarını LangGraph ile tasarlıyoruz. Kaynakları ve retrieval adımlarını izlenebilir kılıyor, guardrail'lerle desteklenmeyen yanıtları azaltıyoruz.
pgvector ve Pinecone gibi teknolojilerle RAG pipeline'ları kuruyor, agent akışlarını LangGraph ile tasarlıyoruz. Kaynakları ve retrieval adımlarını izlenebilir kılıyor, guardrail'lerle desteklenmeyen yanıtları azaltıyoruz.
Eğitilen her model; hangi veri, konfigürasyon ve deneylerle üretildiğine kadar izlenebilir. Training ve serving pipeline'larını Kubeflow ile kuruyor, altyapıyı Terraform ile tanımlıyor, deneyleri MLflow'da takip ediyoruz. Ortamlar koddan tekrarlanabilir şekilde kurulur.
EKS ve GKE üzerinde Kubernetes iş yüklerini işletiyor, ekiplerin altyapı ve servis maliyetlerini görmesini sağlıyoruz. Mimari izin verdiği ölçüde maliyetleri ekip ve servis bazında ayırıyoruz.
Sistemleri, tanımlı hata alanları içinde oluşan arızalara dayanacak şekilde tasarlıyoruz. İş yüküne göre bu; Multi-AZ kurulumları, health check'leri, otomatik failover'ı ve kendini onaran Kubernetes iş yüklerini içerir.
Altyapı sabit kapasite yerine gerçek talebe göre ölçeklenir. Dinamik kapasiteden fayda sağlayan Kubernetes iş yüklerinde pod'ları HPA ile, node'ları Karpenter ile ölçeklendiriyoruz.
Güvenlik, denetim ve operasyon gereksinimleri yüksek iş yüklerine yönelik AWS ortamları tasarlıyoruz. İş yüküne göre ML iş yükleri için SageMaker, olay tabanlı işlemler için Lambda, veri depolama için S3, izleme ve alarm için CloudWatch kullanılır.
Ekibiniz neyin çalıştığını, neyin değiştiğini ve sorunların nerede çıktığını görür. CI/CD pipeline'larını GitHub Actions ve Argo CD ile kuruyor, sistemleri Prometheus ve Grafana ile izliyor, alarmları PagerDuty gibi araçlarla entegre ediyoruz.
ML modelleri izole bir bileşen değil, uygulamanın parçasıdır. Modelleri net tanımlı API'lerle sunuyor; yapılandırılmış loglama, timeout'lar, health check'ler ve kontrollü fallback akışlarıyla arızalara karşı tasarlıyoruz.
Güvenlik kontrolleri teslimat sürecine en baştan dahil edilir. IAM politikaları, ağ izolasyonu, KMS ile şifreleme ve audit logging ile çalışıyor; kontrolleri GDPR ve SOC 2 gibi gereksinimleri destekleyecek şekilde tasarlıyoruz.
Gerçek üretim ortamları için bilgisayarlı görü sistemleri kuruyoruz; veri seti oluşturmadan canlıya almaya ve izlemeye kadar. Her sistemi çalışacağı ortama göre tasarlıyoruz: ışık koşulları, kamera konumu, kullanılabilir işlem gücü ve ağ kısıtları.
Inference pipeline'larını ONNX Runtime ve TensorRT ile kuruyor, health check, yapılandırılmış loglama ve izleme içeren üretim API'leriyle sunuyoruz. Gerektiğinde tahmin girdileri ve çıktıları hata ayıklama ve denetim için izlenebilir hale getirilebilir.
Modeli değiştirmeden önce veriye bakıyoruz. Veri setlerini Label Studio gibi araçlarla inceliyor ve etiketliyor, hatalara gerçekten yol açan durumlara odaklanıyoruz. Birçok üretim sisteminde veriyi iyileştirmek, daha büyük bir modele geçmekten daha değerlidir.
Detection ve diğer görü modellerini tekrarlanabilir deneyler ve kontrollü deployment süreçleriyle eğitiyoruz. Modeller aşamalı ya da canary rollout ile canlıya alınabilir; canlıdan gelen geri bildirim sonraki eğitim turlarına yön verir.
Gecikme, bağlantı ya da verinin bulunduğu yer önemli olduğunda modelleri NVIDIA Jetson gibi edge donanımlarına kuruyoruz. Ağır iş yükleri buluttaki GPU altyapısında çalışabilir. Gecikmeyi, throughput'u ve maliyeti canlıya almadan önce ölçüyoruz.
Model performansı değiştiğinde, onunla birlikte neyin değiştiğini bilmeniz gerekir. Veri setlerini ve training konfigürasyonlarını DVC ve Git LFS gibi araçlarla versiyonluyor, training run'larını karşılaştırıp değişiklikleri zaman içinde izleyebilir hale getiriyoruz.
Canlıdaki veri zamanla değişir. Tahmin güven skorunu ve operasyonel sinyalleri izliyor, olası data drift'i Evidently gibi araçlarla tespit ediyor, güven skoru düşük ya da belirsiz durumları uygun olduğunda bir kişinin incelemesine yönlendiriyoruz.
Kaya, Glotech'in kendi ürünüdür. Fabrikanızdaki mevcut kameralardan her makinenin üstündeki sinyal lambasını okur ve her makinenin gerçekte kaç saat çalıştığını gösterir.
Kaya her makinenin lambasını yeşil, sarı, kırmızı ya da sönük olarak okur. Bunu makine, gün ve vardiya bazında saate çevirir. Lamba sarıyken makinenin başında kimse yoksa o süre ayrı gösterilir ve çalışmaya eklenmez.
Kaya, fabrikada zaten takılı olan kameraları kullanır. Sensör, kablo ya da PLC bağlantısı gerekmez. Kayıt cihazınıza (NVR/DVR) yalnızca fabrika içinden erişiliyorsa ağınıza küçük bir bilgisayar kurulur. O bilgisayar hiçbir makineye dokunmaz. Makinenin markası ve yaşı önemli değil. Kaya, üstünde sinyal lambası olan her makinede çalışır: CNC'ler, presler, enjeksiyon makineleri, paketleme hatları.
Rapordaki her saati açıp ölçüldüğü kamera görüntülerini görebilirsiniz. Kaya'nın okuduğu lamba rengi ve okumasından ne kadar emin olduğu da orada yazar. Kamera lambayı göremediyse o süre sıfır değil, ölçülemeyen süre olarak gösterilir.
Glotech, yapay zekâ sistemlerini geliştirme aşamasından canlı ortama taşıyan bir yapay zekâ altyapısı ve MLOps danışmanlık şirketidir.
Hayır. İşimizin büyük kısmı AWS üzerinde, ama Google Cloud'da da çalışıyoruz. Kurduğumuz sistemlerin çoğu iki bulutta da çalışan açık kaynak araçlara dayanır.
Hayır. Kaya, Glotech'in makinelerin ne kadar çalıştığını ölçmek için geliştirdiği bir üründür. Danışmanlık hizmetlerimizden ayrı sunulur.