В света на машинното обучение, наборите от данни рядко са неутрални. Намаляването на пристрастията включва проактивно инженерство за идентифициране и неутрализиране на несправедливи отклонения, докато усилването на пристрастията е опасно явление, при което моделите всъщност преувеличават съществуващите неравенства, често правейки прогнози, които са значително по-дискриминационни от погрешните данни, върху които са били обучени.
Стратегически технически интервенции, предназначени да идентифицират, смекчат и балансират системната несправедливост в рамките на данните от обучението и резултатите от модела.
Непреднамерен процес, при който алгоритмите за машинно обучение подсилват и свръхиндексират съществуващите стереотипни модели, открити в данните.
| Функция | Намаляване на отклоненията в набора от данни | Усилване на отклонението на набора от данни |
|---|---|---|
| Основна цел | Постигане на справедливи и честни резултати | Максимизиране на предсказуемата увереност (неволно) |
| Влияние върху тенденциите в данните | Активно изравнява несправедливите корелации | Преувеличава и твърдо кодира съществуващите отклонения |
| Методология | Допълване на данни, повторно претегляне и одити | Алгоритмични преки пътища и индуктивно отклонение |
| Интензивност на ресурсите | Високо; изисква експертен надзор и куриране | Ниско; случва се автоматично, ако не бъде отметнато |
| Регулаторно въздействие | Помага за спазването на Закона на ЕС за изкуствения интелект и GDPR | Увеличава риска от правни и етични санкции |
| Дългосрочен резултат | Надежден, обобщаем и надежден изкуствен интелект | Изкривени, дискриминационни и крехки модели |
Намаляването на пристрастията е трудна битка, защото често изисква жертване на мъничко сурова точност, за да се гарантира, че моделът третира всички групи справедливо. От друга страна, усилването се случва естествено, защото алгоритмите са проектирани да намират най-ефективния път към правилния отговор и за съжаление стереотипите често предоставят статистически „лесен“ път, който моделът прекомерно използва.
Редукция се опитва да поправи исторически грешки – като модели за кредитно оценяване, които санкционират определени квартали – чрез ръчно коригиране на теглата на данните. Амплификацията взема същите тези исторически грешки и ги превръща в цифрови закони; ако даден модел види, че на определена група исторически са били отказвани заеми, той може да реши, че на тази група *винаги* трябва да бъдат отказвани заеми, което прави бъдещето още по-ограничително от миналото.
Инженерите се борят с намаляването на отклоненията на три етапа: предварителна обработка (почистване на данните), обработка в процеса на обучение (промяна на математическите изчисления по време на обучението) и последваща обработка (коригиране на крайните резултати). Усилването обикновено се промъква по време на фазата „в процеса на обработка“, където желанието на модела да минимизира грешките го кара да игнорира „шума“ от малцинствените примери в полза на „сигнала“ от мнозинството.
Най-страшната част от усилването на пристрастията е способността му да нараства с течение на времето. Ако инструмент за наемане на персонал, базиран на пристрастия, филтрира разнообразни кандидати, данните за „успешните“ служители стават още по-малко разнообразни, което след това учи следващата версия на инструмента да бъде още по-ограничителна. Правилните стратегии за намаляване прекъсват този цикъл, като въвеждат „контрафактуални“ примери, които оспорват допусканията на модела.
Ако използвам огромен набор от данни, отклонението просто ще се самоанулира.
Всъщност, по-големите набори от данни често съдържат по-фини, системни отклонения, които моделите дори по-добре подчертават. Обемът не е заместител на разнообразието или справедливостта.
Алгоритмите са неутрални, защото са просто математика.
Математиката е неутрална, но целите, които даваме на алгоритмите – като „максимално увеличаване на точността“ – взаимодействат с предубедени данни, за да доведат до предубедени резултати. „Неутралният“ път често е най-дискриминационният.
Намаляването на пристрастията е просто „политическа коректност“ за ИИ.
Всъщност това е техническа необходимост; моделите, които не намаляват пристрастията, често се провалят в реалния свят, защото не могат да обработват разнообразни входни данни, което води до нашумели провали и загуба на приходи.
Премахването на „чувствителни“ колони като раса или пол спира предразсъдъците.
Това е „справедливост чрез слепота“ и рядко работи. Моделите могат лесно да изведат тези черти чрез заместващи данни като пощенски кодове, навици за пазаруване или дори структура на изреченията.
Намаляването на пристрастията е необходимо етично и техническо изискване за всеки модел, който взаимодейства с хора или взема решения, променящи живота. Докато усилването е поведението по подразбиране на повечето неоптимизирани алгоритми, активното намаляване е единственият начин за изграждане на изкуствен интелект, който е едновременно законен и надежден в съвременния пейзаж.
Изборът между автоматизирано проследяване на модели и ръчно проследяване на експерименти оформя фундаментално скоростта и възпроизводимостта на екипа за анализ на данни. Докато автоматизацията използва специализиран софтуер за безпроблемно улавяне на всеки хиперпараметър, метрика и артефакт, ръчното проследяване разчита на човешка старателност чрез електронни таблици или файлове с markdown, създавайки рязък компромис между скоростта на настройка и дългосрочната мащабируема точност.
Агрегирането на данни в реално време и статичните източници на информация представляват два фундаментално различни подхода за обработка на данни. Агрегирането в реално време непрекъснато събира и обработва данни в реално време от множество потоци, докато статичните източници разчитат на фиксирани, предварително събрани набори от данни, които се променят рядко, като се дава приоритет на стабилността и последователността пред непосредствеността.
Това сравнение описва оперативните разлики между анализите на логистиката в реално време, които обработват данни от сензори в реално време, за да оптимизират превозните средства по средата на маршрута, и анализите след пътуването, които оценяват историческите показатели за пътуването впоследствие, за да разкрият системни неефективности на автопарка и възможности за дългосрочно спестяване на разходи.
Анализът на пазарните тенденции разглежда широки движения в индустрията, поведението на клиентите и икономическите промени, докато анализът на ниво компания се фокусира върху представянето и стратегията на конкретен бизнес. И двата подхода се използват широко в инвестирането, бизнес планирането и конкурентните проучвания, но те отговарят на много различни въпроси.
Изборът между анализ на потребителското поведение, базиран на данни, и интуицията на дизайнера, основана на експериментални данни, представлява фундаментален баланс в съвременното разработване на дигитални продукти. Докато анализите предоставят емпирични, количествени доказателства за това как потребителите взаимодействат с жив интерфейс, интуицията използва професионалния опит и психологията, за да внедрява иновации и да решава абстрактни потребителски проблеми, преди дори да съществуват данните.
