🎞️ Videos → How to Trick Users into Filling in Your Boring AI Ethics Survey Using React

แนะนำตัวและหัวข้อ: หลอกให้คนกรอกแบบสอบถาม AI Ethics0:00

สวัสดีค่ะ แพนด้าค่ะ เป็นเจ้าของเพจ Duckgrammer นะคะ เป็นเพจให้ความรู้พวก software development แล้วก็มีแชร์ tool ต่างๆ ถ้าใครสนใจก็ลองไปติดตามดูได้ค่ะ แต่ว่าวันนี้เราจะมาคุยกันในหัวข้อ How to trick your users into filling in your boring AI ethics survey หรือว่าการหลอกให้คนช่วยทำแบบสอบถามหน้าเบื่อๆ ของเราให้หน่อยค่ะ

การหลอกล่อคืออะไร? และ Research เกี่ยวกับ Media Manipulation0:24

ซึ่งการหลอกหรือการ trick ก็คือ การทำให้คนทำรู้สึกหรือคิดอะไรสักอย่าง ที่เขาไม่ได้ตั้งใจจะทำรู้สึกหรือคิดตั้งแต่แรก ด้วยตัวเองค่ะ ซึ่งในเคสนี้การหลอกมันก็ light-hearted หน่อย ก็คือหลอกให้คนทำแบบสอบถามให้เราหน่อย เพื่อเราจะได้มี data เยอะๆ ไปทำ research ไปส่งอาจารย์ค่ะ แต่ใน presentation นี้มันก็มี double meaning นิดนึง เพราะว่า research ตอนนี้เกี่ยวกับ media manipulation โดยการใช้ AI แล้วก็ social media ค่ะ ซึ่งการ trick ในเคสนี้ก็จะเป็นการ trick

ให้เขารู้สึกหรือคิดในอะไรบางอย่าง ที่เราต้องการให้เขารู้สึกหรือคิดค่ะ

Social Media Manipulation: สร้าง AI ปลอมความเห็น1:02

ในปี 2019 ได้มี paper ตัวนึงออกมา เกี่ยวกับการทำ social media manipulation ในเมืองจีน ที่ออกมาจาก Political Warfare Unit ของจีน ซึ่งเขา describe ว่าเขาอยากจะสร้าง AI system ตัวนึง ที่สามารถ sway public opinion ได้ AI system ตัวนี้จะสร้าง account ปลอมเยอะมาก เป็นพันๆ account เป็นหมื่นๆ account โดยการใช้ AI generate profile generate content generate bio generate comment ต่างๆ แล้วประมาณ 90% ของ role ของ AI พวกนี้ มันจะเอาไว้สร้าง content lifestyle ปกติ ทำให้ profile พวกนี้ดูเหมือนเป็น profile ของคนจริงๆ ไม่เหมือน IO ที่เราจะจับได้ว่าเป็น Facebook page ปลอม ที่มันเพิ่งเปิด เพราะงั้นเขาจะพยายามดันให้มี history นานๆ ให้มันดูเป็นคนจริง แต่พอเขาต้องการ push agenda อะไรบางอย่าง เวลาเขาต้องการ sway public opinion อะไรบางอย่าง เขาก็จะเอา account พวกนี้แหละไป comment ไป flood hashtag ต่างๆ ให้คนรู้สึกว่ามีคน believe หรือมีคนเชื่อใน message ตัวนี้มากกว่าที่มันมี

Social Media Manipulation มีมานานแล้ว แต่ AI ทำให้มันง่ายขึ้น2:05

bottom line ก็คือ social media manipulation เนี่ยมันมีอยู่แล้วแหละ มันมีมาตั้งนานแล้ว มันมีมาเป็น 5 ปี 10 ปีแล้ว แต่ก่อนหน้านี้มันก็จะใช้ bot แล้วใช้กำลังจำนวนมากในการที่จะทำ account พวกนี้ manually ขึ้นมา ต้องมีคนพยายามตอบ พยายามมีคนคิด content แต่หลังจากมี generative AI ขึ้นมา content พวกนี้ก็จะเพิ่มขึ้นใน magnitude ที่เยอะมากๆ เพราะเราไม่จำเป็นต้องมีคนเยอะๆ มาสร้าง bot พวกนี้แล้ว เราสามารถให้ AI มัน generate ได้ เราสามารถให้มันสร้าง content ที่เสมือนจริงได้ โดยใช้เวลาและ resource น้อยมากๆ

Experiment: Turing Test บน Twitter แยก AI กับคนจริง2:36

ทำให้คิดถึง experiment ตัวนึงขึ้นมา ที่จะลอง test ดูว่าในวันที่ social media มันเต็มไปด้วย AI content แล้วเราจะสามารถ distinguish มันได้ดีขนาดไหน ก็เลยสร้างตัว Turing Test ก็มา คำว่า Turing Test บวกคำว่า tweet เอา Turing Test มาอยู่ใน context ของ social media experiment ตัวนี้ก็จะ show tweet หนึ่งตัวให้ user ดู แล้วก็ให้ user เลือกว่าเขาคิดว่าเป็น content ที่มาจาก political figure public figure ที่เขารู้จัก หรือว่าเป็น tweet ที่ AI เป็นคน generate ขึ้นมา พยายามเรียนแบบ public figure พวกนี้ ด้วยความที่ experiment ตัวนี้ทำตอนที่อยู่ที่อเมริกา ก็เลยเลือก Elon Musk Trump กับ Taylor Swift เพราะว่าเป็น public figure ที่คนน่าจะรู้จักและคุ้นเคย แล้วก็น่าจะพอรู้ว่า Trump เขา tweet โทนประมาณไหน Elon Musk เขา tweet เกี่ยวกับเรื่องอะไรบ้าง เขาจะได้มี context ในการเดาได้

ปัญหา ChatGPT ไม่ยอมสร้าง Tweet แบบ Trump และวิธีแก้3:22

ปัญหาแรกที่เจอเลยก็คือ ChatGPT

มันไม่ยอม generate tweet ที่เรียนแบบ Donald Trump เพราะว่ามันมี safeguard อะไรบางอย่าง ที่พยายามไม่ go against พวก moral guideline เพราะช่วงแรกๆ มันก็จะมีดราม่าเหมือนกัน ที่มันตอบคำถามที่ไม่ค่อยถูกนัก หรือคำถามที่ไม่ค่อยถูกใจใครหลายๆ คนนัก แต่ว่าถึงมันจะมี safeguard ระดับนึง มันก็ bypass ค่อนข้างง่าย ถ้าเรารีเฟรสคำถามมันก็ยอม generate ให้เราอยู่ดี

พอเราได้ data ออกมา เราก็จะมี data ส่วนหนึ่งที่ generate จาก AI แล้วก็ data อีกส่วนหนึ่งที่ไปเอามาจาก Kaggle ก็เป็น tweeting ของ Donald Trump tweeting ของ public figure ต่างๆ

จาก Google Form สู่ Web App: เพิ่มการตอบแบบสอบถาม4:01

ตอนแรกเราก็รู้สึกว่า อ๋อ อันนี้เราก็แค่ยัดลงไปใน Google Form ก็ได้ แล้วก็ให้คนมาถามเป็นคำถาม Google Form 30 ข้อ 10 อันของ Trump 10 อันของ Taylor Swift 10 อันของ Elon Musk แต่พอทำตัว Google Form ตัวนี้เสร็จแล้วส่งเข้าไปในกลุ่มเนี่ย มีคนตอบกลับมาแค่ 2 คน ซึ่งมันไม่ค่อยพอเท่าไหร่ในการทำ data เราก็เลยพยายามหาวิธีที่ทำยังไงดีให้คนมานั่งตอบคำถาม 30 ข้อของเรา

แทนที่จะเป็น Google Form เราก็เลยลองเขียน web app ง่ายๆขึ้นมา ที่เป็น web app ที่เขียนโดยใช้ React พยายาม mimic UI ของ Twitter ให้เขารู้สึกเหมือนเขาเล่นเกมมากกว่าที่เขาจะทำข้อสอบ ตอนเขาตอบคำตอบที่ถูก card ก็จะกลายเป็นสีเขียว พอเขาตอบผิดมันจะกลายเป็นสีแดง ซึ่งตัว positive reinforcement มันก็ทำให้เขาอยากเล่นต่อ หรือว่าตอนเขาตอบผิดเขาก็จะสามารถพยายาม recognize pattern อะไรต่างๆของ AI ได้ เขาก็จะพยายาม improve คำตอบของตัวเองในคราวต่อไป

ข้อดีของการสร้าง App เอง: เก็บข้อมูลได้ทุกคลิก4:53

แล้วอีกอย่างหนึ่งที่ดีมากๆของการเขียน app เองก็คือ เราสามารถ store data ได้ทุกคลิกเลย สมมุติว่าเขาเล่นแค่ของ Elon Musk ไป ตอบแค่ 10 ข้อ

เราก็สามารถเอา data ตรงนั้นมาทำต่อแล้ว เราไม่จำเป็นต้องรอเขาตอบทั้ง 30 ข้อแล้วรอเขา submit ปรากฏว่าการที่เลือกทำแบบนี้ทำให้มีคนตอบแบบสอบถามกลับมาเยอะมาก

ผลลัพธ์: คนตอบแบบสอบถามเยอะขึ้นเพราะอยากเอาชนะ AI5:13

แทนที่จะมีคำตอบมาแค่ 2 อัน มีคำตอบเป็นพันภายในวันแรก ซึ่งคำตอบเป็นพันไม่ใช่เพราะมีคนตอบ 1,000 คน คำตอบมันมีเป็นพันเพราะว่ามีคนเล่นมากกว่า 1 ครั้ง มี response มากๆเพราะเขาอยากจะ improve score ของเขา เขาอยากลอง beat AI ดู ซึ่งเป็นอะไรที่เราไม่ได้ expect ตั้งแต่แรก แต่พอดีเราเก็บเลข session ไว้ เราก็เลยสามารถเอา data ตรงนี้มา track ได้ นี่ก็เลยน่าจะเป็น example ดีๆอย่างหนึ่ง ที่เราใช้ JavaScript เราใช้ React เราใช้การเขียน front-end interface ง่ายๆ ที่คนส่วนใหญ่ก็น่าจะเขียนเป็นอยู่แล้ว มา adapt ในงานที่ไม่ได้ยากมาก แต่เราได้ result เราได้ feedback กลับมาเยอะมากๆ

กราฟแสดงผล: คนแยก AI ได้ดีขึ้นเมื่อเล่นหลายครั้ง5:55

พอเราเอากราฟตัวนี้กลับมา plot เราก็จะเห็นว่าถ้าใน attempt แรก เขาแทบจะแยกไม่ออกระหว่าง AI กับ user จริงเลย accuracy ตอนแรกอยู่ที่ 53.8% ก็คือเท่าๆกับ random chance เลย แต่ว่าพอเขาลองไปครั้งที่ 2 ครั้งที่ 3 ครั้งที่ 4 ครั้งที่ 5 เราก็จะเห็นว่าเขาสามารถ identify traits ของ tweet ที่เป็น AI ได้ดีขึ้น ภายในครั้งที่ 5 หลายๆ response ก็จะมี accuracy สูงถึง 80-90% ซึ่งมันก็ดู positive อยู่ มันดูเหมือนเรามีหวังอยู่ที่เราจะสามารถ beat AI ได้ เราสามารถฉลาดขึ้นได้

ข้อจำกัดของ Experiment และคำถามถึงปัญหา AI บน Twitter6:28

แต่ว่าอันนี้อาจจะเป็น statistic ที่ดีเกินจริงไปนิดนึง เพราะว่าใน context นี้เราใช้ AI model แค่ตัวเดียว เราใช้ prompt เดียวกัน มันก็ไม่แปลกที่เขาจะ recognize pattern ได้ แต่ว่าใน environment จริง มันมี AI model มากกว่า 1 ตัว มัน mix กับ tweet ที่เยอะมากๆ มันก็จะอาจจะไม่ได้ตอบง่าย improvement มันอาจจะไม่ได้เยอะขนาดนี้ แต่มันก็จะมาที่คำถามว่า แล้วมันเป็นปัญหาจริงๆขนาดนั้นเลยเหรอ ถ้า AI มันเต็ม Twitter ไปหมด

ถ้ามันมี AI generated tweet เยอะมากๆ มันผิดขนาดนั้นเลยเหรอ ก็เลยอยากให้มาลองดู real life case study แล้วกัน

Real-life Case Study: AI สร้างความแตกแยกทางการเมือง7:01

ว่าตอนนี้ AI content มันมีการใช้ไปในทางที่ไม่ดี หรือการใช้ในงานที่ค่อนข้างอันตรายในเคสแบบไหนบ้าง

อันนี้เป็นเคสที่ค่อนข้างล่าสุด ก็คือ Microsoft มี report ออกมาว่า เมืองจีนได้ใช้พวก AI generated image พยายามสร้าง political divide ในอเมริกา ช่วงก่อน election ในปี 2024 ที่กำลังจะถึง ก็จะสร้าง content ที่ค่อนข้างทำให้คนโกรธ ทำให้คน divide เพื่อพยายามจะ sway election พยายาม sway vote ซึ่ง rumor ประมาณนี้ทุกคนก็น่าจะเคยได้ยินกัน ใน election ในปี 2016 เหมือนกัน

Deepfake ของ Zelenskyy และผลกระทบในสงคราม7:40

ล่าสุดช่วงสงครามรัสเซียยูเครน ก็มีคนทำ deepfake ของ president ของยูเครน Zelenskyy ออกมา ที่บอกว่าให้ฝั่งยูเครนวางอาวุธลง แล้วเขาก็เอาตัว deepfake ตัวนี้ tag เว็บไซต์ข่าว แล้วก็ไปอยู่ใน fanpage ของเว็บไซต์ข่าว แล้วก็เอา tag ตัวนี้ไปอยู่ใน live broadcast เหมือนกัน ซึ่ง message ประมาณนี้ก็เป็น message ที่อันตราย โดยเฉพาะในช่วงสงครามที่ information มันค่อนข้าง access ได้ยาก ถ้าคนเห็น deepfake ตัวนี้เร็วๆเขาก็อาจจะเชื่อไปแล้ว แล้วมันก็อาจจะมี effect ที่ catastrophic มากๆ แต่ก็โชคดีที่ message นี้มันไม่ได้ไปไกลมาก เพราะว่านี่เป็น deepfake ที่ทำขึ้นมาค่อนข้างถูก ทุกคนมองแบบซักพักนึงก็น่าจะพอรู้ว่าหัวมันแบบลอยๆ

แล้วก็เขาก็มาตอบโต้ค่อนข้างเร็วใน Twitter ว่า นี้ไม่ใช่ deepfake จริง

Deepfake เสียงใน Court Case: ปัญหาของหลักฐานในอนาคต8:24

แล้วก็นี่เป็นอีกเคสนึงที่อาจจะไม่ได้เกี่ยวกับ political matter ขนาดนั้น ไม่ได้เกี่ยวกับ state อะไรที่ใหญ่มาก แต่ว่านี่เป็นเคส court case ที่มีคุณแม่คนนึงที่อยากได้ custody ของลูก เขาก็เลย deepfake เสียงของสามีตัวเอง ที่กำลัง threaten ตัวเอง เพื่อที่จะ convince ให้ court ให้ custody ตัวเอง ซึ่งเคสแบบนี้ มันไม่ได้เป็น one-off case ที่น่า concerning

มัน concerning เพราะว่าในวันที่ AI มันสามารถ mimic คน จนเราไม่สามารถ distinguish ได้ video evidence audio evidence มันจะยังใช้ใน court ได้รึเปล่า ถ้ามันเป็นวันที่เราตัดต่อรูปได้เหมือนมาก 100% ทุกคนก็จะสามารถบอกได้ว่ารูปนี้มันไม่มีความหมาย เพราะทุกคนสามารถตัดต่อรูปได้ แล้วอย่างงี้เราจะใช้อะไรในการ prove ความ guilty หรือความ innocence

สรุป: ระวังการถูกหลอกบน Social Media และ Content จาก AI9:14

essence ของ talk นี้ก็เลยว่า ครั้งต่อไปที่มีคนส่ง survey

หรือมีคนส่ง content อะไรบน social media ที่ทำให้คุณรู้สึกโกรธ รู้สึก riled up รู้สึกว่าคุณอยากจะทำอะไร รู้สึกอะไร หรือคิดอะไรที่คุณไม่ได้ทำรู้สึก หรือคิดตั้งแต่แรก ก็ลองกลับมาคิดดูว่าคุณกำลังถูกหลอกอยู่รึเปล่า เพราะว่าใน landscape ของ social media หลายๆคนน่าจะเคยได้ยิน quote ว่า if you are not paying for the product, you're the product ซึ่ง product ใน social media ก็คือสิ่งที่ทุกคนทำ สิ่งที่ทุกคนคิด สิ่งที่ทุกคนเป็น behavior เล็กๆ perception ที่มันเปลี่ยนไปอย่างที่เราไม่รู้ตัว และนี่คือสิ่งที่เขากำลังขายให้พวกเรา ขายให้ advertiser ต่างๆ ก็ขอให้ทุกคนใช้ความระมัดระวัง

แล้วก็ beware ของ content ใน social media ทั้งที่เป็น content ที่คนสร้าง แล้วก็ content ที่จะ generate โดย AI ที่จะเพิ่มขึ้นเรื่อยๆค่ะ ขอบคุณค่ะ