dirbtinis intelektasLLMvietiniai modeliaiAPIprivatumasatvirojo kododirbtinis intelektas

Necenzūruoti vietiniai modeliai ir moderuojamos komercinės API

Necenzūruoti vietiniai modeliai veikia jūsų pačių aparatinėje įrangoje be turinio filtrų, suteikdami visišką kontrolę ir privatumą. Moderuojamos komercinės API siūlo talpinamą dirbtinį intelektą su integruotais saugos filtrais, lengvesniu nustatymu ir nuolatiniu pagrindinių tiekėjų palaikymu.

Akcentai

Vietiniai modeliai siūlo visišką turinio laisvę be jokio išorinio duomenų dalijimosi
Komercinės API sąsajos užtikrina valdomos infrastruktūros profesionalų saugos suderinamumą
Dėl aparatinės įrangos kainų vietiniai modeliai yra ilgalaikė investicija, o API siūlo mažas įėjimo išlaidas.
Atviro svorio modelių kokybė greitai panaikino atotrūkį nuo patentuotų komercinių pasiūlymų.

Kas yra Necenzūruoti vietiniai modeliai?

Atvirojo svorio dirbtinio intelekto modeliai veikia lokaliai be turinio apribojimų, suteikdami visišką naudotojo kontrolę ir privatumą.

Atviro svorio modelius, tokius kaip „Llama 3“, „Mistral“ ir „Qwen“, galima atsisiųsti ir paleisti vartotojams skirtoje įrangoje su pakankamai vaizdo atminties.
Šie modeliai paprastai neturi integruotos turinio moderavimo funkcijos, o tai reiškia, kad išvestys atspindi tik mokymo duomenis ir bet kokius vartotojo taikomus tikslius pakeitimus.
Veikiant lokaliai, raginimai ir išvestys niekada nepalieka jūsų kompiuterio, o tai yra didelis privatumo pranašumas.
Populiarūs necenzūruoti variantai yra „WizardLM-Uncensored“, „Dolphin“ ir „Nous Hermes“, kurie yra tiksliai suderinti taip, kad pašalintų atsisakymo elgesį.
Aparatinės įrangos reikalavimai labai skiriasi – nuo kuklaus GPU su 8 GB vaizdo atmintimi mažesniems modeliams iki kelių GPU sąrankų 70B ir daugiau parametrų modeliams.

Kas yra Moderuojamos komercinės API?

Debesyje talpinamos dirbtinio intelekto paslaugos iš tokių įmonių kaip „OpenAI“, „Anthropic“ ir „Google“ su integruotais saugos filtrais ir naudojimo politika.

Tokios paslaugos kaip „OpenAI“ GPT-4, „Anthropic“ „Claude“ ir „Google“ „Gemini“ vykdo turinio politiką, kuri blokuoja žalingus, neteisėtus ar nesaugius rezultatus.
Kainodara paprastai nustatoma už žetoną arba užklausą ir svyruoja nuo cento dalių iki kelių centų, priklausomai nuo modelio pakopos.
Komercinės API tvarko visą infrastruktūrą, mastelio keitimą ir atnaujinimus, todėl vartotojams nereikia galingos aparatinės įrangos.
Paslaugų teikėjai daug investuoja į „red teaming“ ir suderinimo tyrimus, kad sumažintų žalingus rezultatus ir pažeidžiamumus, kuriuos sukelia „jailbreak“.
Komercinėms API siunčiamiems duomenims taikoma teikėjo privatumo politika, ir dauguma jų siūlo parinktis atsisakyti mokymo duomenų rinkimo.

Palyginimo lentelė

Funkcija	Necenzūruoti vietiniai modeliai	Moderuojamos komercinės API
Turinio apribojimai	Pagal numatytuosius nustatymus nėra, valdomas naudotojo	Įmontuoti saugos filtrai ir atmetimai
Duomenų privatumas	Užbaigta, duomenys lieka įrenginyje	Duomenys siunčiami į teikėjo serverius
Aparatinės įrangos reikalavimai	Rekomenduojama vaizdo plokštė su 8 GB ir daugiau vaizdo RAM	Bet kuris įrenginys su interneto prieiga
Sąnaudų struktūra	Nemokami modelio svoriai, investicijos į aparatinę įrangą	Mokėjimas už žetoną arba prenumeratos kainodara
Sąrankos sudėtingumas	Vidutinis arba aukštas, reikalauja techninių žinių	Žemas, API raktas ir kelios kodo eilutės
Modelio atnaujinimai	Vadovas, vartotojas atsisiunčia naujas versijas	Automatinis, tiekėjas tvarko atnaujinimus
Mastelio keitimas	Riboja vietinė aparatinė įranga	Beveik neribotas debesies mastelio keitimas
Pagalba ir dokumentacija	Bendruomenės valdomas, priklauso nuo modelio	Profesionali pagalba, išsami dokumentacija

Išsamus palyginimas

Turinio kontrolė ir cenzūra

Didžiausias filosofinis skirtumas tarp šių dviejų metodų yra tai, kaip jie tvarkosi su turiniu. Necenzūruoti vietiniai modeliai yra specialiai sukurti arba tiksliai suderinti, siekiant išvengti atsisakymo elgesio, įdiegto komerciniuose modeliuose. Tokie projektai kaip „Dolphin“ ir „WizardLM-Uncensored“ aktyviai mokosi nenaudoti saugos atsakymų, pateikdami vartotojams neapdorotą modelio išvestį. Komercinės API laikosi priešingos pozicijos, sluoksniuodamos sustiprintą mokymąsi iš žmonių atsiliepimų (RLHF) ir konstitucinius dirbtinio intelekto metodus, kad atmestų prašymus, kurie laikomi žalingais, neetiškais ar neteisėtais. Tai reiškia, kad moderuojama API mandagiai atsisakys padėti atlikti tam tikras užduotis, o vietinis necenzūruotas modelis bandys padaryti beveik viską.

Privatumas ir duomenų saugumas

Vietinis modelio paleidimas gali būti laikomas auksiniu privatumo standartu, nes niekas niekada nepalieka jūsų kompiuterio. Jūsų raginimai, išvestys ir bet koks jautrus kontekstas lieka jūsų aparatinėje įrangoje. Dėl to vietiniai modeliai yra patrauklūs sveikatos priežiūros, teisiniams ir nuosavybės teise saugomiems verslo atvejams. Tuo tarpu komercinės API reikalauja siųsti duomenis į išorinius serverius. Nors pagrindiniai teikėjai šifruoja duomenis perduodant ir juos saugant, o daugelis siūlo įmonių sutartis be jokio duomenų saugojimo, jūs vis tiek pasitikite trečiąja šalimi dėl savo informacijos. Esant labai jautriems darbo krūviams, vietinis diegimas visada laimi privatumo srityje.

Kaina ir prieinamumas

Komercinės API turi žemą įėjimo barjerą. Jūs užsiregistruojate, gaunate API raktą ir per kelias minutes generuojate tekstą, mokėdami tik už tai, ką naudojate. Kainos smarkiai sumažėjo, o „GPT-4o-mini“ ir „Gemini Flash“ kainuoja vos kelis centus už tūkstantį žetonų. Vietiniai modeliai yra nemokami programinės įrangos požiūriu, tačiau investicijos į aparatinę įrangą gali būti didelės. Galinga sistema su RTX 4090 arba keliomis vartotojams skirtomis GPU gali kainuoti tūkstančius dolerių, pridėjus elektros energijos sąnaudas. Ilgainiui intensyvūs vartotojai dažnai randa vietinius modelius pigesnius, o reti vartotojai gauna naudos iš nulinių API pradinių išlaidų.

Našumas ir pajėgumai

Komercinės API šiuo metu pirmauja pagal neapdorotų duomenų galimybes. GPT-4, Claude 3.5 Sonnet ir Gemini 1.5 Pro nuolat pirmauja samprotavimo, kodavimo ir multimodalinių užduočių lyginamuosiuose testuose. Tačiau atotrūkis sparčiai mažėja. Atvirojo svorio modeliai, tokie kaip Llama 3.1 405B ir Qwen 2.5 72B, dabar daugelyje lyginamųjų testų prilygsta arba lenkia senesnius komercinius modelius. Specializuotoms užduotims vietiniai modeliai iš tikrųjų gali pranokti bendrosios paskirties API, nes juos galima tiksliai suderinti su savo duomenimis be apribojimų.

Naudojimo atvejai ir idealūs vartotojai

Necenzūruoti vietiniai modeliai puikiai tinka tyrimams, kūrybiniam rašymui be savavališkų apribojimų, saugumo testavimui ir bet kokiam scenarijui, kai reikia nuspėjamo, nefiltruoto elgesio. Jie taip pat yra geriausias pasirinkimas uždarose aplinkose ir reguliuojamose pramonės šakose. Moderuojamos komercinės API geriau tinka klientams skirtiems produktams, švietimo priemonėms ir programoms, kur saugumas ir patikimumas yra svarbesni už absoliučią laisvę. Dauguma įmonių, kuriančių gamybines programas, pradeda nuo komercinių API, skirtų tobulinimui ir palaikymui, o tada, plečiantis, apsvarsto vietinius modelius.

Privalumai ir trūkumai

Necenzūruoti vietiniai modeliai

Privalumai

+ Visiškas turinio valdymas
+ Visiškas duomenų privatumas
+ Jokių mokesčių už naudojimą
+ Pritaikoma tiksliai sureguliuojant

Pasirinkta

− Didelė aparatinės įrangos kaina
− Reikalingas techninis nustatymas
− Rankiniai atnaujinimai
− Apribota vietinių skaičiavimų

Moderuojamos komercinės API

Privalumai

+ Lengva dislokuoti
+ Nereikia jokios aparatinės įrangos
+ Reguliarūs modelio atnaujinimai
+ Stiprios saugos funkcijos

Pasirinkta

− Nuolatinės naudojimo išlaidos
− Išoriškai siunčiami duomenys
− Turinio apribojimai
− Pardavėjo priklausomybės rizika

Dažni klaidingi įsitikinimai

Mitas

Necenzūruoti modeliai yra savaime pavojingi ir neteisėti naudoti.

Realybė

Patys modeliai tėra svoriai ir matematika. Jų naudojimo būdas lemia teisėtumą. Daugelis tyrėjų, rašytojų ir kūrėjų naudoja necenzūruotus modelius visiškai teisėtam darbui. Žymė „necenzūruotas“ reiškia atsisakymo mokymo pašalinimą, o ne kokią nors įgimtą kenkėjišką galimybę.

Mitas

Komercinės API niekada nenutekins jūsų duomenų.

Realybė

Nors pagrindiniai paslaugų teikėjai taiko griežtas saugumo praktikas, duomenų nutekėjimai ir politikos pakeitimai vis dar pasitaiko. Dauguma paslaugų teikėjų naudoja API įvestis modeliams tobulinti, nebent jūs aiškiai atsisakote, o paslaugų teikimo sąlygos gali keistis. Vietiniai modeliai visiškai pašalina šią riziką.

Mitas

Vietiniai modeliai visada yra blogesni nei komerciniai.

Realybė

Prieš keletą metų tai buvo tiesa, bet dabar nebe. Tokie modeliai kaip „Llama 3.1 405B“ ir „Qwen 2.5 72B“ daugelyje etalonų prilygsta arba pranoksta senesnes GPT-4 versijas. Konkrečioms užduotims atlikti tiksliai suderintas vietinis modelis gali pranokti bendrosios paskirties komercinę API.

Mitas

Moderuojamos API yra visiškai apsaugotos nuo įsilaužimo.

Realybė

Nepaisant plataus masto „raudonųjų komandų“ (angl. red teaming), tyrėjai reguliariai randa būdų, kaip apeiti komercinius API saugos filtrus. Nė viena sistema nėra idealiai saugi, o tiekėjai nuolat atnaujina savo apsaugos priemones, žaiddami katės ir pelės žaidimą.

Mitas

Norint paleisti vietinius modelius, reikia superkompiuterio.

Realybė

Mažesni modeliai, kurių parametrų diapazonas yra 7B–13B, patogiai veikia su vienu vartotojui skirtu GPU su 8–16 GB vaizdo atminties. Kvantuotos versijos gali veikti net ir aukščiausios klasės nešiojamuosiuose kompiuteriuose arba „Apple Silicon Mac“ kompiuteriuose su priimtinu greičiu.

Dažnai užduodami klausimai

Ką iš tikrųjų reiškia „necenzūruotas“ dirbtinio intelekto modeliams?

Necenzūruoti modeliai yra atvirojo svorio dirbtinio intelekto modeliai, kurie buvo tiksliai suderinti taip, kad pašalintų arba gerokai sumažintų atsisakymo elgesį, apmokytą tokiuose modeliuose kaip „ChatGPT“. Jie neatmes prašymų dėl prieštaringų temų, kūrybinės grožinės literatūros, susijusios su smurtu, ar saugumo tyrimų. Pagrindinės galimybės yra tokios pačios kaip ir bet kurio kalbos modelio; buvo pakoreguoti arba pašalinti tik apsauginiai turėklai.

Ar galiu paleisti necenzūruotą modelį savo nešiojamajame kompiuteryje?

Taip, priklausomai nuo jūsų nešiojamojo kompiuterio specifikacijų. 7B parametrų diapazono modeliai, ypač kvantuotos versijos (Q4 arba Q5), gali veikti šiuolaikiniuose „Apple Silicon Mac“ kompiuteriuose arba nešiojamuosiuose kompiuteriuose su specialiomis NVIDIA GPU. Tokios priemonės kaip „Ollama“, „LM Studio“ ir „llama.cpp“ leidžia stebėtinai lengvai atlikti vietinį išvadų darymą net ir netechniniams vartotojams.

Ar komercinės API sąsajos yra saugesnės nei vietiniai modeliai?

Komercinės API sąsajos iš karto pasižymi patikimesniu saugumo suderinamumu, nes įmonės daug investuoja į raudonų komandų kūrimą ir RLHF. Tačiau „saugesnis“ priklauso nuo konteksto. Žalingų rezultatų prevencijai klientams skirtose programose – taip. Jūsų duomenų privatumo apsaugai vietiniai modeliai iš tikrųjų yra saugesni, nes niekas nepalieka jūsų įrenginio.

Kiek kainuoja paleisti modelius lokaliai, palyginti su API naudojimu?

API kainos skiriasi priklausomai nuo tiekėjo ir modelio. „GPT-4o-mini“ kainuoja apie 0,15 USD už milijoną įvesties žetonų, o „GPT-4o“ – apie 2,50 USD už milijoną įvesties žetonų. Daug naudotojų, išleidžiančių API 100 USD per mėnesį, galėtų atsipirkti su 1 500 USD kainuojančia GPU sistema per pusantrų metų, o po to vietinis išvados teikimas iš esmės nemokamas, išskyrus elektrą.

Kurie necenzūruoti modeliai šiuo metu yra populiariausi?

Populiarūs pasirinkimai apima Erico Hartfordo „Dolphin“ seriją, „WizardLM-Uncensored“, „Nous Hermes“ ir įvairius bendruomenės patobulintus „Llama 3“ ir „Mistral“ žaidimus. Geriausias modelis jums priklauso nuo jūsų aparatinės įrangos – priklausomai nuo jūsų GPU konfigūracijos, galimi 7B, 13B, 70B ir net 405B variantai.

Ar komercinės API apmokomos naudojant mano duomenis?

Tai priklauso nuo teikėjo ir jūsų paskyros tipo. „OpenAI“, „Anthropic“ ir „Google“ paprastai pagal numatytuosius nustatymus nemoko API įvesties mokamuose lygiuose, tačiau nemokami lygiai ir vartotojams skirti produktai, pvz., nemokama „ChatGPT“ versija, mokymui gali naudoti pokalbius. Visada patikrinkite dabartinę privatumo politiką, nes šios sąlygos dažnai keičiasi.

Ar necenzūruotus modelius galima tiksliai pritaikyti konkrečioms užduotims?

Be abejo, ir tai yra vienas didžiausių jų privalumų. Be jokių turinio apribojimų galite tiksliai derinti specializuotus duomenų rinkinius, tokius kaip medicininė literatūra, teisiniai dokumentai ar nuosavybės teise saugomi įmonių duomenys. Tokios technologijos kaip LoRA ir QLoRA leidžia tiksliai derinti net ir vartotojų įrangoje.

Kokios aparatinės įrangos reikia 70B parametrų modeliui?

Viso tikslumo 70B modeliui reikia apie 140 GB vaizdo atminties, o tai reiškia kelias aukščiausios klasės vaizdo plokštes arba sistemą su H100. Tačiau kvantinės versijos (Q4) gali veikti su viena 48 GB vaizdo plokšte, pvz., RTX A6000, arba dviem 24 GB vaizdo plokštėmis. Daugelis vartotojų nuomojasi vaizdo plokštės laiką iš tokių paslaugų kaip „RunPod“ ar „Vast.ai“, kad retkarčiais galėtų naudoti didelius modelius.

Ar yra teisinių pavojų naudojant necenzūruotus modelius?

Pačių modelių naudojimas yra teisėtas daugumoje jurisdikcijų. Svarbu tai, ką darote su rezultatais. Neteisėto turinio, priekabiavimo ar nesutarimu pagrįstos medžiagos kūrimas yra neteisėtas, nepriklausomai nuo naudojamo dirbtinio intelekto. Modeliai yra įrankiai, o atsakomybė priklauso nuo taikymo ir naudojimo, panašiai kaip peilis yra legalus, bet dūris – ne.

Kuris požiūris yra geresnis įmonėms?

Dauguma įmonių pradeda nuo komercinių API dėl naudojimo paprastumo, patikimumo ir atsakomybės apsaugos. Plečiantis arba tvarkant jautrius duomenis, daugelis pereina prie hibridinių sąrankų, naudodamos API bendroms užduotims ir vietinius modelius nuosavybės teise priklausantiems arba reguliuojamiems darbo krūviams. Sprendimas paprastai priklauso nuo duomenų jautrumo, biudžeto ir vidinių techninių pajėgumų.

Nuosprendis

Jei jūsų prioritetai yra privatumas, turinio laisvė ir ilgalaikė išlaidų kontrolė, o jūs turite reikiamą techninę įrangą ir techninius įgūdžius jiems valdyti, rinkitės necenzūruotus vietinius modelius. Jei norite išbaigtos, palaikomos patirties su tvirtomis saugumo garantijomis ir jums netrukdo mokėti už kiekvieną naudojimą, rinkitės moderuojamas komercines API. Daugelis rimtų vartotojų galiausiai naudoja abu, bendram darbui – komercines API, o specializuotoms ar jautrioms užduotims – vietinius modelius.

Susiję palyginimai

„DeepSeek V4“ ir „GPT-4“ klasės modeliai

„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.

„Google“ paieška ir žinių grafiko paieška

„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.

„Google“ paieškos algoritmas ir supaprastinti klasės modeliai

„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.

„Vienas su vienu“ atitikimas aptikimo ir daugelio su vienu atitikimo metodų srityse

„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.

A/B testavimas modelių aptarnavime ir vieno modelio diegime

A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.