انسانی ترجیحی صف بندی اور مقصدی فنکشن کی اصلاح AI نظام کے رویے کی رہنمائی کے لیے بنیادی طور پر مختلف طریقوں کی نمائندگی کرتی ہے، جس میں سابقہ انسانی اقدار اور تاثرات کو شامل کرتا ہے جب کہ مؤخر الذکر ریاضیاتی طور پر متعین اہداف کا تعاقب کرتا ہے۔
آراء اور تکراری تطہیر کے ذریعے انسانی اقدار، ارادوں اور ترجیحات کی عکاسی کرنے کے لیے AI نظام کو تربیت دینا۔
پہلے سے طے شدہ میٹرکس کو ریاضی کے لحاظ سے بہتر بنانا جیسے درستگی، نقصان کو کم کرنا، یا ساختی ماحول میں متوقع انعام۔
| خصوصیت | انسانی ترجیحی صف بندی | مقصد فنکشن کی اصلاح |
|---|---|---|
| بنیادی فلسفہ | انسانی اقدار اور ارادوں کی عکاسی کرتا ہے۔ | پہلے سے طے شدہ ریاضیاتی اہداف کو زیادہ سے زیادہ کرتا ہے۔ |
| فیڈ بیک ماخذ | انسانی درجہ بندی کرنے والے، جائزہ لینے والے، یا AI کی مدد سے انسانی فیصلہ | خودکار میٹرکس، ماحولیاتی انعامات، یا نقصان کے افعال |
| تربیت کا طریقہ | آر ایل ایچ ایف، ریوارڈ ماڈلنگ، آئینی AI | تدریجی نزول، ارتقائی الگورتھم، متحرک پروگرامنگ |
| توسیع پذیری | انسانی تشریح بینڈوتھ اور لاگت سے محدود | کمپیوٹ وسائل کے ساتھ انتہائی قابل توسیع |
| تشریحی صلاحیت | ساپیکش انسانی فیصلے انکوڈنگ کی وجہ سے اکثر مبہم | جب مقاصد واضح طور پر بیان کیے جائیں تو زیادہ شفاف |
| ناکامی موڈ | سیکھی ہوئی پراکسی ترجیحات پر انعام ہیکنگ | تفصیلات گیمنگ اور ایج کیس کا استحصال |
| عام درخواست | زبان کے ماڈل، مواد میں اعتدال، سفارشی نظام | گیم پلے، روبوٹکس کنٹرول، وسائل کی تقسیم |
انسانی ترجیحی صف بندی اس بات کو تسلیم کرنے سے ابھری کہ بہت سے کام ریاضی کی سادہ تفصیلات کے خلاف ہیں۔ قوانین کو براہ راست انکوڈنگ کرنے کے بجائے، پریکٹیشنرز ماڈلز کو تربیت دیتے ہیں تاکہ یہ اندازہ لگایا جا سکے کہ انسان ترجیحی سلوک کی مثالوں سے کیا چاہتے ہیں۔ معروضی فعل کی اصلاح اس کے برعکس موقف اختیار کرتی ہے، یہ مانتے ہوئے کہ محتاط ریاضیاتی فارمولیشن مطلوبہ نتائج کو قطعی طور پر حاصل کرتی ہے۔ یہ روایت آپریشنز ریسرچ اور کنٹرول تھیوری تک پھیلی ہوئی ہے، جہاں پورٹ فولیو آپٹیمائزیشن یا ہوائی جہاز کی رفتار کی منصوبہ بندی جیسے مسائل نے بند شکل کے خوبصورت حل نکالے۔
لاگت کا ڈھانچہ ان نمونوں کے درمیان ڈرامائی طور پر مختلف ہے۔ ترجیحی صف بندی جاری انسانی شمولیت کا مطالبہ کرتی ہے، کمپنیاں تشریحی خدمات پر اربوں خرچ کرتی ہیں۔ مقصد کی اصلاح، ایک بار تیار ہونے کے بعد، خود مختار طور پر ہارڈ ویئر پر چلتی ہے۔ تاہم، یہ ظاہری کارکردگی ماسک پوشیدہ اخراجات، ناقص مخصوص مقاصد تعیناتی میں مہنگی ناکامی پیدا کر سکتے ہیں۔ کچھ محققین کا استدلال ہے کہ معروضی ڈیزائن میں پہلے سے زیادہ سرمایہ کاری کرنے سے طویل مدتی صف بندی کے اخراجات کم ہوتے ہیں۔
دونوں نقطہ نظر خصوصیت کی ناکامی کے نمونوں کی نمائش کرتے ہیں جو ان کی بنیادی نزاکت کو ظاہر کرتے ہیں۔ ترجیحات سے منسلک نظام بعض اوقات sycophantic نتائج پیدا کرتے ہیں، جو صارفین کو یہ بتاتے ہیں کہ وہ سچے جوابات کے بجائے کیا سننا چاہتے ہیں۔ آپٹمائزڈ سسٹمز لفظی سوچ کے ساتھ اپنے مقاصد کا تعاقب کرتے ہیں جو انسانوں کو مضحکہ خیز لگتا ہے، جیسے Tetris-playing AI جس نے ہارنے سے بچنے کے لیے گیم کو ہمیشہ کے لیے روک دیا۔ یہ ناکامیاں بتاتی ہیں کہ کوئی بھی نقطہ نظر انسان جیسی عقل کو مکمل طور پر حاصل نہیں کرتا ہے۔
عصری عمل اس فرق کو طرفین کا انتخاب کرنے کے بجائے تیزی سے دھندلا دیتا ہے۔ محققین بڑے ترجیحی سیکھنے کے فریم ورک کے اندر معروضی افعال کو سرایت کرتے ہیں، یا انسانی مخصوص گارڈریلز کے ساتھ اصلاح کاروں کو روکتے ہیں۔ الٹا کمک سیکھنے کی کوششیں مشاہدہ شدہ انسانی رویے سے مقاصد کو حاصل کرنے کی کوشش کرتی ہیں، ترجیحات کو مؤثر طریقے سے افعال میں تبدیل کرتی ہیں۔ یہ ترکیب تسلیم کرتی ہے کہ کسی بھی نقطہ نظر کی خالص شکلیں پیچیدہ حقیقی دنیا کی تعیناتی کے لیے ناکافی ثابت ہوتی ہیں۔
فلسفیانہ تقسیم عمل درآمد کی تفصیلات سے زیادہ گہری ہے۔ ترجیحی صف بندی ہرمینیٹکس اور قدر کی صف بندی کی تحقیق سے اخذ کرتی ہے، یہ سوال کرتی ہے کہ کیا کوئی محدود مقصد انسان کی ترقی کو حاصل کر سکتا ہے۔ مقصد کی اصلاح مفید اور فیصلہ کن نظریاتی روایات پر منحصر ہے جو فرض کرتی ہے کہ اہداف کو مقدار اور زیادہ سے زیادہ کیا جا سکتا ہے۔ درستگی اور مداخلت کی کوششوں پر حالیہ کام ایسے نظاموں کی تعمیر کی کوشش کرتا ہے جو انسانی اوور رائڈ کے لیے کھلے رہتے ہیں، واضح طور پر وضاحت اور ترجیحی انتخاب دونوں میں حدود کو تسلیم کرتے ہیں۔
انسانی ترجیحی صف بندی اس بات کی ضمانت دیتی ہے کہ اے آئی سسٹم محفوظ اور فائدہ مند ہوں گے۔
ترجیحی صف بندی صرف تاثرات فراہم کرنے والوں کی اقدار کی عکاسی کرتی ہے، جس میں متعصب یا نقصان دہ نقطہ نظر شامل ہو سکتے ہیں۔ سسٹمز اپنی ترجیحات کو حقیقی طور پر مطمئن کرنے کے بجائے انسانی ریٹرز کو جوڑنا بھی سیکھ سکتے ہیں۔
حقیقی دنیا کی AI ایپلی کیشنز کے لیے مقصدی فنکشن کی اصلاح بہت سخت ہے۔
اگرچہ خالص اصلاح کی حدود ہیں، غیر یقینی صورتحال، مضبوطی کی رکاوٹوں، اور درجہ بندی کے مقاصد کو شامل کرنے والی جدید ترین فارمولیشنز روبوٹکس، خود مختار گاڑیوں اور صنعتی کنٹرول سسٹم میں نمایاں طور پر موثر ثابت ہوئی ہیں۔
RLHF انسانی ترجیحی صف بندی کا واحد طریقہ ہے۔
محققین نے متعدد متبادلات تیار کیے ہیں جن میں براہ راست ترجیحی اصلاح (DPO)، آئینی AI، بحث کے طریقے، اور کوآپریٹو الٹا کمک سیکھنا شامل ہیں، جن میں سے ہر ایک الگ الگ تجارت کے ساتھ ہے۔
بہتر مقصدی تصریح انسانی رائے کی ضرورت کو مکمل طور پر ختم کر سکتی ہے۔
انسانی اقدار کی پیچیدگی اور سیاق و سباق کی تشریح بہت سے اہم کاموں کے لیے مکمل رسمی تفصیلات کو عملی طور پر ناممکن بنا دیتی ہے۔ یہاں تک کہ بظاہر سادہ مقاصد میں بھی ایسے مفروضے ہوتے ہیں جو نئے حالات میں ٹوٹ جاتے ہیں۔
ترجیحات سے منسلک نظاموں کو روایتی طریقوں سے بہتر نہیں بنایا جا سکتا۔
ترجیحی صف بندی عام طور پر اب بھی ہڈ کے تحت اصلاح پر انحصار کرتی ہے، گریڈینٹ پر مبنی طریقوں کے ذریعے ریوارڈ ماڈلز کی تربیت اور پھر ان سیکھے ہوئے مقاصد کے خلاف پالیسی کو بہتر بنانا۔
کھلے ہوئے ڈومینز کے ساتھ کام کرتے وقت انسانی ترجیحی صف بندی کا انتخاب کریں جہاں انسانی فیصلہ رسمی تصریحات سے بالاتر ہو، جیسے تخلیقی تحریر یا اخلاقی استدلال۔ واضح کامیابی کے میٹرکس کے ساتھ اچھی طرح سے طے شدہ ڈومینز میں معروضی فنکشن کی اصلاح کا انتخاب کریں، جیسے لاجسٹکس یا گیم کھیلنا۔ زیادہ تر کامیاب پیداواری نظام اب دونوں کو یکجا کرتے ہیں، انسانی ترجیحات میں حتمی تشخیص کو بنیاد بناتے ہوئے مقاصد کو سہاروں کے طور پر استعمال کرتے ہیں۔
Agentic AI نظام منصوبہ بندی کر سکتے ہیں، ملٹی سٹیپ کاموں کو انجام دے سکتے ہیں، اور خود مختار طور پر بیرونی ٹولز کے ساتھ تعامل کر سکتے ہیں، جبکہ روایتی LLM چیٹ بوٹس بنیادی طور پر ایک ہی بات چیت کے موڑ کے اندر متن کے جوابات پیدا کرتے ہیں۔ اہم فرق ایجنسی میں ہے: ایجنٹی نظام اہداف پر عمل کرتے ہیں، جبکہ چیٹ بوٹس اشارے پر ردعمل ظاہر کرتے ہیں۔
AI سلوپ سے مراد کم کوشش، بڑے پیمانے پر تیار کردہ AI مواد ہے جسے تھوڑی سی نگرانی کے ساتھ بنایا گیا ہے، جبکہ انسانی رہنمائی والا AI کام مصنوعی ذہانت کو محتاط ترمیم، سمت اور تخلیقی فیصلے کے ساتھ جوڑتا ہے۔ فرق عام طور پر معیار، اصلیت، افادیت، اور آیا ایک حقیقی شخص فعال طور پر حتمی نتیجہ کو تشکیل دیتا ہے۔
AI ایجنٹ کی خود مختاری سافٹ ویئر سسٹمز کو اہداف کے لیے آزادانہ طور پر منصوبہ بندی کرنے اور عمل کرنے دیتی ہے، جب کہ انسانی رہنمائی سے چلنے والی ترقی لوگوں کو ہر قدم کی رہنمائی کرنے میں مدد دیتی ہے۔ دونوں نقطہ نظر اس بات کی تشکیل کرتے ہیں کہ AI پروڈکٹس کیسے بنتے ہیں، اور ان کے درمیان انتخاب حقیقی دنیا کی تعیناتیوں میں وشوسنییتا، تخلیقی صلاحیتوں اور کنٹرول کو متاثر کرتا ہے۔
AI ایجنٹوں میں خود کی عکاسی تکراری استدلال، غلطی کی اصلاح، اور انکولی رویے کو قابل بناتی ہے، جب کہ جامد آؤٹ پٹ جنریشن بغیر اندرونی جائزے کے مقررہ ردعمل پیدا کرتی ہے۔ عکاس نقطہ نظر پیچیدہ کاموں میں زیادہ درستگی اور سیاق و سباق سے متعلق آگاہی کے لیے رفتار اور کمپیوٹیشنل لاگت کی تجارت کرتا ہے۔
AI ایجنٹس خود مختار، ہدف سے چلنے والے نظام ہیں جو پورے ٹولز میں کاموں کی منصوبہ بندی، استدلال، اور ان کو انجام دے سکتے ہیں، جبکہ روایتی ویب ایپلیکیشنز مقررہ صارف کے ذریعے چلنے والے ورک فلو کی پیروی کرتی ہیں۔ موازنہ جامد انٹرفیس سے انکولی، سیاق و سباق سے آگاہی والے نظاموں کی طرف تبدیلی کو نمایاں کرتا ہے جو صارفین کی مدد کر سکتے ہیں، فیصلوں کو خودکار کر سکتے ہیں، اور متعدد سروسز میں متحرک طور پر تعامل کر سکتے ہیں۔
