Бөлүштүрүлгөн машиналык окутуу кызматы масштабдоо жана туруктуулук үчүн бир нече түйүндөргө болжолдуу жумуш жүгүн таратат, ал эми борборлоштурулган моделдик тейлөө жөнөкөйлүк жана башкаруу үчүн бирдиктүү системага таянат. Алардын ортосунда тандоо трафиктин схемаларына, кечигүү талаптарына жана операциялык жетилгендикке жараша болот.
Масштабды жана катага чыдамдуулукту башкаруу үчүн бир нече машиналар же түйүндөр боюнча моделдин инференциясын иштеткен тейлөө архитектурасы.
Бир машина же кичинекей кластер моделди жайгаштырып, бардык тыянак чыгаруу суроо-талаптарын иштеткен салттуу тейлөө орнотуусу.
| Мүмкүнчүлүк | Бөлүштүрүлгөн ML порциясы | Борборлоштурулган моделди тейлөө |
|---|---|---|
| Архитектура стили | Жүк теңдөөчүнүн артындагы бир нече түйүндөр | Бир хост же тыгыз байланышкан кластер |
| Масштабдоо мүмкүнчүлүгү | Горизонталдуу, дээрлик сызыктуу, түйүндөрдүн саны менен | Вертикалдуу, бир машиналык жабдыктар менен чектелген |
| Кемчиликтерге чыдамдуулук | Жогорку, аман калган жеке түйүндөрдүн иштебей калышы | Төмөн, бир гана ийгиликсиздик чекити |
| Операциялык татаалдык | Жогорку, оркестрлештирүүнү жана мониторингди талап кылат | Төмөнүрөөк, жайгаштыруу жана мүчүлүштүктөрдү оңдоо оңой |
| Типтүү кечигүү профили | Өзгөрмөлүү, өткөрүү жөндөмдүүлүгү үчүн оптималдаштырылган | Ырааттуу, алдын ала айтууга ылайыкташтырылган |
| Эң жакшысы | Жогорку QPS, чоң моделдер, өндүрүштүк трафик | Трафик аз жана орточо, прототиптер, ички куралдар |
| Чыгым модели | Жогорку базалык деңгээлде, суроо-талапка жараша масштабдалат | Төмөнкү базалык, туруктуу кубаттуулук |
| Жалпы алкактар | Triton, Ray Serve, KServe, BentoML | FastAPI, Flask, MLflow, бир түйүндүү TF кызмат көрсөтүүсү |
Таркатылган тейлөө трафик бир машина көтөрө албагандан ашып кеткенде жаркырайт. Көбүрөөк көчүрмөлөрдү же сыныктарды кошуу жүктү бөлүштүрөт жана күтүүсүз кескин өсүштөр учурунда да жооп берүү убактысын туруктуу кармайт. Ал эми борборлоштурулган тейлөө хост жеткире алган нерсенин өткөрүү жөндөмдүүлүгүн чектейт, андыктан масштабдоо көбүрөөк түйүндөрдү кошуунун ордуна чоңураак кутучаны сатып алууну билдирет.
Таркатылган кластердеги түйүн бузулганда, трафик автоматтык түрдө кайра багытталат жана кызмат онлайн режиминде калат. Борборлоштурулган орнотууларда мындай коопсуздук тармагы жок, андыктан жабдыктын иштебей калышы же ядродогу дүрбөлөң кимдир бирөө кийлигишкенге чейин бүтүндөй APIди оффлайнга чыгарат. Критикалык тиркемелер үчүн ошол бир гана бузулуу чекити көп учурда келишимди бузуучу болуп саналат.
Бөлүштүрүлгөн системаны иштетүү деген кызмат көрсөтүүлөрдү табуу, ден соолукту текшерүү, автомасштабдоо эрежелерин жана көптөгөн кыймылдуу бөлүктөрдө байкоо жүргүзүүнү башкаруу дегенди билдирет. Борборлоштурулган тейлөө чакан командалар үчүн алда канча ыңгайлуу, анткени бир машинадагы бир процессти көзөмөлдөө жана ой жүгүртүү алда канча оңой. Компромисс бүгүнкү жөнөкөйлүк эртеңки кыйынчылыкка айланышы мүмкүн.
Бөлүштүрүлгөн орнотуулар кээде жүк теңдөөчү аркылуу кичинекей тармактык секирүүнү кошот, бирок алар ошондой эле ар бир түйүн үчүн кезектин тереңдигин азайтат, бул көп учурда жүктөө астында куйруктун кечигүүсүн жакшыртат. Борборлоштурулган тейлөө кошумча секирүүдөн толугу менен качат, бул сизге аз трафикте абдан ырааттуу кечигүүнү берет. Бирок, көп трафикте кезектер бир хостто топтолот жана p99 кечигүүсү тез начарлайт.
Бөлүштүрүлгөн тейлөө сизге автомасштабдоо аркылуу кубаттуулукту суроо-талапка дал келтирүүгө мүмкүндүк берет, андыктан сиз тынч мезгилде колдонгон нерсеңиз үчүн гана төлөйсүз. Борборлоштурулган тейлөө эң жогорку жүктөмдү алдын ала камсыз кылууну талап кылат, бул көпчүлүк учурда жабдуулардын бош турганын билдириши мүмкүн. Алдын ала айтууга мүмкүн болгон, аз көлөмдөгү жумуш жүктөмдөрү үчүн борборлоштурулган ыкма, адатта, жалпысынан арзаныраак.
Бөлүштүрүлгөн тейлөө борборлоштурулган тейлөөгө караганда ар дайым тезирээк.
Ылдамдык жумуш жүгүнө жана конфигурацияга көз каранды. Трафик аз болгондо, бөлүштүрүлгөн орнотуулардагы кошумча тармактык секирүү кечигүүнү кошушу мүмкүн, ал эми жакшы жөндөлгөн борборлоштурулган сервер тезирээк жооп бериши мүмкүн. Бөлүштүрүлгөн тейлөө оор жүктөмдүн астында өткөрүү жөндөмдүүлүгүнө жана арткы кечигүүгө жараша жеңет, сөзсүз түрдө чийки ылдамдыкка эмес.
Борборлоштурулган тейлөөнү масштабдоо таптакыр мүмкүн эмес.
Борборлоштурулган орнотуулар көбүрөөк эс тутуму жана GPUлары бар чоңураак машиналарга өтүү менен вертикалдык масштабда болушу мүмкүн. Көптөгөн өндүрүш системалары бөлүштүрүүгө муктаж болгонго чейин бир нече жыл бою борборлоштурулган тейлөөнү ийгиликтүү иштетишет. Чектөө архитектурада эмес, аппараттык камсыздоодо.
Бөлүштүрүлгөн кызмат көрсөтүү мониторинг жүргүзүү зарылдыгын жокко чыгарат.
Таркатылган системалар чындыгында көбүрөөк мониторингди талап кылат, азыраак эмес. Көйгөйлөрдү эрте аныктоо үчүн ар бир түйүндүн абалын, маршруттоону суроо-талаптарды, репликалардын санын жана кластер боюнча кечигүүнү көзөмөлдөө керек. Байкоосуз бузулууларды аныктоо бир топ кыйын болуп калат.
Бардык ML моделдери бөлүштүрүлгөн тейлөөдөн пайда көрүшөт.
Трафиги аз болгон кичинекей моделдер көп учурда бир машинада эң сонун иштейт. Аларды таратуу олуттуу аткаруу көрсөткүчтөрүн жогорулатпастан, чыгымдарды жана татаалдыкты көбөйтөт. Таратуу негизинен чоң моделдер, жогорку QPS же катуу жеткиликтүүлүк талаптары үчүн акталат.
Борборлоштурулган тейлөө - бул эскирген технология.
Борборлоштурулган тейлөө көптөгөн реалдуу дүйнөдөгү жайылтуулар, айрыкча ички APIлер, пакеттик жыйынтыктоо тапшырмалары жана алгачкы этаптагы өнүмдөр үчүн демейки бойдон калууда. Ал эскирген эмес; бул жөн гана ар кандай көйгөйлөр топтому үчүн туура курал.
Эгерде сиз суроо-талаптын көлөмүнөн жогору күтсөңүз, катага туруктуулук керек болсо же бир машиналык эстутумдан ашып кеткен чоң моделдерди иштетсеңиз, бөлүштүрүлгөн ML кызматын тандаңыз. Прототиптер, ички куралдар же аз трафиктүү APIлер үчүн борборлоштурулган модел кызматын колдонуңуз, мында жөнөкөйлүк жана алдын ала айтууга боло турган кечигүү чийки масштабдан маанилүүрөөк.
Бул салыштыруу Amazon Web Services менен Google Cloud кызматтарын алардын кызматтарынын сунуштары, баалоо моделдери, дүйнөлүк инфраструктурасы, өндүрүмдүүлүгү, разработчиктердин тажрыйбасы жана идеалдуу колдонуу учурлары боюнча талдоо аркылуу карап чыгып, уюмдарга техникалык жана бизнес талаптарына эң жакшы дал келген булут платформасын тандоого жардам берет.
Бул салыштыруу Docker контейнерлери менен виртуалдык машиналардын ортосундагы айырмачылыктарды алардын архитектурасын, ресурстарды колдонуусун, өндүрүмдүүлүгүн, обочолонуусун, масштабдуулугун жана жалпы колдонулуучу учурларын изилдөө аркылуу түшүндүрөт, бул командаларга заманбап өнүктүрүү жана инфраструктура муктаждыктарына эң жакшы келген виртуалдаштыруу жолу кандай экенин чечүүгө жардам берет.
Машиналык окутуу жумуш жүктөмдөрү үчүн курулган тейлөө торчолору динамикалык, жогорку көлөмдөгү тыянак трафигин майда-чүйдөсүнө чейин трафикти башкаруу менен иштетет, ал эми салттуу API шлюздары стандарттуу микрокызматтар үчүн суроо-талаптарды багыттоого, аутентификацияга жана ылдамдыкты чектөөгө багытталган. Алардын ортосунда тандоо сиздин негизги көйгөйүңүз MLге мүнөздүү байкоо жүргүзүү жана моделдин версиясын түзүү же жалпы максаттагы API оркестрлештирүү экендигине жараша болот.
ML системаларындагы жүктү тең салмактоо атайын жабдуулар боюнча GPU менен интенсивдүү жыйынтык чыгарууну жана окутуу жумуш жүгүн башкарат, ал эми жөнөкөй API суроо-талаптарын иштетүү жеңил HTTP трафигин жалпы максаттагы серверлерге бөлүштүрөт. Алар татаалдыгы, ресурстарга болгон муктаждыгы жана маршруттоо интеллекти боюнча кескин айырмаланат.
MLOps түтүктөрү салттуу CI/CDди кеңейтип, машиналык окутуу жумуш агымдарына ылайыкташтырылган моделди окутуу, валидациялоо жана мониторинг этаптарын кошот. Салттуу CI/CD кодду жайылтууга басым жасаса, MLOps маалыматтарды версиялоону, эксперименттерди көзөмөлдөөнү жана ML жашоо циклинин толук бөлүгүндө моделдин дрейфин аныктоону иштетет.
