การเลือกคุณลักษณะจะคัดกรองตัวแปรที่มีอยู่ให้เหลือเฉพาะตัวแปรที่มีประโยชน์ที่สุด ในขณะที่การขยายการสร้างคุณลักษณะจะสร้างคุณลักษณะใหม่จากข้อมูลดิบ ทั้งสองอย่างมีส่วนกำหนดวิธีการทำงานของโมเดลการเรียนรู้ของเครื่อง แต่ทำงานในทิศทางตรงกันข้ามในกระบวนการสร้างคุณลักษณะ
กระบวนการในการระบุและเก็บรักษาเฉพาะตัวแปรป้อนข้อมูลที่เกี่ยวข้องมากที่สุดจากชุดข้อมูลที่มีอยู่เพื่อใช้ในการฝึกฝนโมเดล
กระบวนการสร้างตัวแปรป้อนข้อมูลใหม่โดยผ่านการแปลง การผสมผสาน หรือการดึงข้อมูลจากข้อมูลดิบหรือข้อมูลที่มีอยู่แล้ว
| ฟีเจอร์ | การเลือกคุณสมบัติ | การขยายงานด้านวิศวกรรมคุณสมบัติ |
|---|---|---|
| ทิศทางหลัก | ลดคุณสมบัติที่มีอยู่ | ขยายหรือสร้างคุณสมบัติใหม่ |
| เป้าหมายทั่วไป | ปรับปรุงสมาธิและลดเสียงรบกวน | เพิ่มคุณค่าให้กับข้อมูลด้วยสัญญาณการทำนายที่แม่นยำยิ่งขึ้น |
| เทคนิคทั่วไป | วิธีการกรอง การห่อหุ้ม และการฝังตัว | การแปลง การโต้ตอบ การฝัง การเข้ารหัส |
| ผลกระทบต่อขนาดชุดข้อมูล | จำนวนฟีเจอร์ที่ลดลง | จำนวนฟีเจอร์เพิ่มขึ้น |
| บทบาทในกระบวนการวางท่อ | โดยทั่วไปจะใช้หลังจากขั้นตอนการสร้างคุณลักษณะ (feature engineering) | โดยปกติจะใช้ก่อนการเลือกคุณลักษณะ |
| ผลกระทบต่อความสามารถในการตีความ | โดยทั่วไปจะช่วยเพิ่มความสามารถในการตีความ | หากใช้มากเกินไป อาจลดความสามารถในการตีความได้ |
| ความเสี่ยงของการเกิดภาวะโอเวอร์ฟิตติ้ง | จะลดลงเมื่อทำอย่างถูกต้อง | ราคาจะสูงขึ้นหากมีการเพิ่มฟีเจอร์มากเกินไป |
| การพึ่งพาความรู้เฉพาะด้าน | ปานกลาง; เกณฑ์ทางสถิติมักเพียงพอ | สูง; คุณสมบัติที่มีความหมายมักต้องการความเชี่ยวชาญ |
การเลือกคุณลักษณะทำงานบนหลักการที่ว่า น้อยแต่มาก โดยการตัดตัวแปรที่ไม่ก่อให้เกิดประโยชน์อย่างมีนัยสำคัญออกไป โมเดลจะฝึกฝนได้เร็วขึ้นและมักจะสามารถสรุปผลได้ดีกว่า การขยายคุณลักษณะจะใช้แนวทางตรงกันข้าม โดยสมมติว่าการแสดงภาพปัญหาพื้นฐานที่สมบูรณ์ยิ่งขึ้นสามารถปลดล็อกรูปแบบที่โมเดลอาจมองข้ามไปได้ ในทางปฏิบัติ กระบวนการที่ประสบความสำเร็จส่วนใหญ่จะใช้ทั้งสองอย่าง: ขยายก่อน แล้วจึงเลือก
การเลือกคุณลักษณะมักให้ผลลัพธ์ที่ดีที่สุดเมื่อชุดข้อมูลมีขนาดใหญ่ กล่าวคือ มีจำนวนคอลัมน์มากเมื่อเทียบกับจำนวนแถว หรือเมื่อความสามารถในการตีความมีความสำคัญ เช่น ในอุตสาหกรรมที่มีการควบคุมอย่างเข้มงวด เช่น การดูแลสุขภาพหรือการเงิน การขยายการสร้างคุณลักษณะจะให้ผลตอบแทนสูงสุดเมื่อข้อมูลดิบไม่เป็นระเบียบ กระจัดกระจาย หรือถูกจำกัดอยู่ในรูปแบบที่โมเดลไม่สามารถนำไปใช้ได้โดยตรง เช่น การประทับเวลา ข้อความ หรือป้ายกำกับหมวดหมู่ คุณลักษณะที่สร้างขึ้นอย่างดีบางครั้งอาจมีประสิทธิภาพเหนือกว่าคุณลักษณะดิบหลายสิบรายการ
วิธีการคัดเลือก เช่น การกำจัดคุณลักษณะแบบวนซ้ำ หรือการกรองแบบ Lasso จะเพิ่มภาระการคำนวณเพียงเล็กน้อย และสามารถลดเวลาการฝึกฝนได้ในภายหลังโดยการลดพื้นที่อินพุต ในทางกลับกัน วิธีการขยาย โดยเฉพาะอย่างยิ่งคุณลักษณะพหุนาม หรือการสร้างคุณลักษณะอัตโนมัติ สามารถเพิ่มจำนวนคุณลักษณะได้อย่างมาก ชุดข้อมูลที่มี 50 คอลัมน์ เมื่อขยายเป็นพจน์พหุนามดีกรี 3 สามารถสร้างคุณลักษณะได้หลายพันรายการ ซึ่งต้องการหน่วยความจำมากขึ้นและรอบการฝึกฝนที่ยาวนานขึ้น
โมเดลแบบต้นไม้ เช่น XGBoost และ LightGBM จัดการกับคุณลักษณะที่ไม่เกี่ยวข้องได้อย่างราบรื่น ซึ่งช่วยลดความจำเป็นในการคัดเลือกคุณลักษณะอย่างเข้มงวด ในทางกลับกัน โมเดลการเรียนรู้เชิงลึกมักได้รับประโยชน์อย่างมากจากการสร้างคุณลักษณะ เนื่องจากพวกมันเรียนรู้การแสดงผล แต่ยังคงต้องพึ่งพาข้อมูลป้อนเข้าที่มีข้อมูลสำคัญ เครือข่ายประสาทเทียมยังสามารถสร้างคุณลักษณะโดยปริยายผ่านเลเยอร์การฝังข้อมูล ทำให้เส้นแบ่งระหว่างสองแนวทางนี้ไม่ชัดเจน
การเลือกคุณลักษณะที่มากเกินไปอาจทำให้ละทิ้งคุณลักษณะที่ดูอ่อนแอเมื่อพิจารณาเพียงลำพัง แต่มีความสำคัญเมื่อนำมารวมกับคุณลักษณะอื่นๆ ในทางกลับกัน การขยายขอบเขตมากเกินไปก็สร้างอันตรายในทางตรงกันข้าม นั่นคือการมีคุณลักษณะที่รบกวนหรือมีความสัมพันธ์กันมากเกินไป ซึ่งจะทำให้แบบจำลองสับสนและทำให้ความแปรปรวนเพิ่มสูงขึ้น การตรวจสอบแบบไขว้ (Cross-validation) เป็นมาตรการป้องกันมาตรฐานสำหรับทั้งสองกรณี ช่วยให้ผู้ปฏิบัติงานสามารถวัดได้ว่าคุณลักษณะที่เพิ่มหรือลบออกนั้นช่วยปรับปรุงประสิทธิภาพนอกกลุ่มตัวอย่างได้อย่างแท้จริงหรือไม่
การเลือกคุณลักษณะและการออกแบบคุณลักษณะเป็นสิ่งเดียวกัน
ทั้งสองอย่างนี้เป็นส่วนเสริมกันแต่ก็แตกต่างกัน การสร้างคุณลักษณะ (Feature engineering) สร้างตัวแปรใหม่จากข้อมูลดิบ ในขณะที่การเลือกคุณลักษณะ (Feature selection) เลือกตัวแปรที่จะเก็บไว้ การสร้างคุณลักษณะจะขยายพื้นที่ของคุณลักษณะ ในขณะที่การเลือกคุณลักษณะจะจำกัดพื้นที่ของคุณลักษณะ
ฟีเจอร์ที่มากขึ้นมักนำไปสู่โมเดลที่ดีกว่าเสมอ
การเพิ่มฟีเจอร์โดยไม่มีเหตุผลรองรับ มักจะทำให้เกิดสัญญาณรบกวน ปัญหาความสัมพันธ์เชิงเส้นหลายตัวแปร และการโอเวอร์ฟิตติ้ง คำสาปของมิติที่มากเกินไป หมายความว่าโมเดลอาจทำงานได้แย่ลงเมื่อจำนวนฟีเจอร์เพิ่มขึ้นโดยที่ไม่ได้เพิ่มคุณภาพของสัญญาณตามไปด้วย
การเลือกคุณลักษณะจะมีประโยชน์เฉพาะกับชุดข้อมูลขนาดเล็กเท่านั้น
การเลือกคุณลักษณะช่วยได้ในทุกระดับ แม้จะมีข้อมูลหลายล้านแถว การลบคุณลักษณะที่ไม่เกี่ยวข้องหรือซ้ำซ้อนจะช่วยลดเวลาในการฝึกฝน ลดต้นทุนในการจัดเก็บ และมักจะช่วยปรับปรุงความสามารถในการสรุปผลได้ดีขึ้น
การเรียนรู้เชิงลึกช่วยขจัดความจำเป็นในการสร้างคุณลักษณะเฉพาะ
การเรียนรู้เชิงลึกช่วยทำให้การเรียนรู้การแสดงผลบางส่วนเป็นไปโดยอัตโนมัติ แต่คุณลักษณะที่ได้รับการออกแบบมาอย่างดีก็ยังคงช่วยปรับปรุงประสิทธิภาพ ลดความต้องการข้อมูล และเร่งการบรรจบกันในแอปพลิเคชันเชิงปฏิบัติส่วนใหญ่
เครื่องมือคัดเลือกคุณสมบัติอัตโนมัติจะเลือกคุณสมบัติที่ดีที่สุดเสมอ
วิธีการอัตโนมัติอาศัยเกณฑ์ทางสถิติที่ไม่สอดคล้องกับเป้าหมายทางธุรกิจหรือความสัมพันธ์เชิงสาเหตุเสมอไป การตัดสินใจของมนุษย์ยังคงมีความสำคัญ โดยเฉพาะอย่างยิ่งเมื่อคุณลักษณะต่างๆ มีความหมายเฉพาะด้าน
เลือกใช้วิธีการคัดเลือกคุณลักษณะเมื่อชุดข้อมูลของคุณมีตัวแปรจำนวนมากอยู่แล้ว และคุณต้องการแบบจำลองที่กระชับและตีความได้ง่ายขึ้น เลือกใช้วิธีการขยายคุณลักษณะเมื่อข้อมูลดิบขาดโครงสร้างหรือพลังในการทำนาย และคุณมีความเชี่ยวชาญเฉพาะด้านในการสร้างตัวแปรใหม่ที่มีความหมาย ในโครงการจริงส่วนใหญ่ ผลลัพธ์ที่ดีที่สุดมาจากการผสมผสานทั้งสองวิธี: ขยายอย่างรอบคอบ จากนั้นเลือกอย่างเข้มงวด
AI slop หมายถึงเนื้อหา AI ที่ผลิตออกมาจำนวนมากโดยใช้ความพยายามน้อยและขาดการกำกับดูแล ในขณะที่งาน AI ที่มีมนุษย์ควบคุมนั้นเป็นการผสมผสานปัญญาประดิษฐ์เข้ากับการตัดต่อ การกำกับ และการตัดสินใจเชิงสร้างสรรค์อย่างรอบคอบ ความแตกต่างมักอยู่ที่คุณภาพ ความคิดริเริ่ม ประโยชน์ใช้สอย และว่ามีบุคคลจริงเข้ามามีส่วนร่วมในการกำหนดผลลัพธ์สุดท้ายหรือไม่
AI ที่มีมนุษย์เข้ามาเกี่ยวข้อง (Human-in-the-Loop AI) ผสานประสิทธิภาพของเครื่องจักรเข้ากับการตัดสินใจของมนุษย์ในจุดสำคัญ ในขณะที่ระบบ AI อัตโนมัติเต็มรูปแบบ (Fully Automated AI Systems) ทำงานอย่างอิสระตั้งแต่ต้นจนจบ แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ความสามารถในการขยายขนาด ต้นทุน และความรับผิดชอบ ซึ่งเป็นตัวกำหนดว่าแนวทางใดเหมาะสมกับกรณีการใช้งานนั้นๆ
การเปรียบเทียบทางสถาปัตยกรรมนี้เน้นให้เห็นถึงความแตกต่างหลักระหว่างระบบ AI ที่รับรู้บริบท ซึ่งวิเคราะห์ข้อมูลสถานการณ์แบบไดนามิก เช่น ความตั้งใจของผู้ใช้ ประวัติ และสภาพแวดล้อม กับระบบที่ไม่รับรู้บริบท ซึ่งประมวลผลข้อมูลนำเข้าเป็นเหตุการณ์แยกต่างหากโดยอาศัยกฎที่กำหนดไว้ล่วงหน้าเท่านั้น
AI ที่เสริมด้วยการค้นหาจะดึงข้อมูลแบบเรียลไทม์จากแหล่งข้อมูลภายนอกในขณะที่ทำการค้นหา ในขณะที่การฝึกฝนโดยใช้ชุดข้อมูลเพียงอย่างเดียวจะอาศัยความรู้ที่ฝังอยู่ในน้ำหนักของโมเดลระหว่างการฝึกฝนเท่านั้น แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ต้นทุน ความทันสมัย และความสามารถในการจัดการกับคำถามที่อยู่นอกขอบเขตการฝึกฝนดั้งเดิม
ระบบ AI แบบกระจายศูนย์จะกระจายสติปัญญา ข้อมูล และการคำนวณไปยังโหนดอิสระต่างๆ โดยมักให้ความสำคัญกับความเปิดกว้างและการควบคุมของผู้ใช้ ในขณะที่ระบบ AI ขององค์กรนั้นได้รับการจัดการจากส่วนกลางโดยบริษัทต่างๆ โดยมุ่งเน้นที่ประสิทธิภาพ ผลกำไร และการบูรณาการผลิตภัณฑ์ ทั้งสองแนวทางนี้มีส่วนกำหนดวิธีการสร้าง การกำกับดูแล และการเข้าถึง AI แต่มีความแตกต่างกันอย่างมากในด้านความโปร่งใส การเป็นเจ้าของ และการควบคุม
