ถ้าหากพูดถึง WangchangBERTa ก็ต้องเขาคนนี้! @cstorm125 หรือพี่ชาริน!! หลังจากห่างหายไปนานกับช่วงสัมภาษณ์คนที่ทำงานด้าน NLP วันนี้เรากลับมาอีกครั้ง พร้อมกับบทสัมภาษณ์ของบุคคลอีกท่านในวงการ NLP ที่เป็นส่วนหนึ่งในทีมพัฒนา WangchanBERTa (language model ที่ใหญ่และประสิทธิผลดีที่สุดของไทยในขณะนี้) WangchanBERTa: Pretraining transformer-based Thai Language Models Transformer-based language models, more specifically BERT-based architectures have achieved state-of-the-art…arxiv.org

มีข้อมูลน้อย แต่อยากได้โมเดลดีๆก็ไปเก็บข้อมูลเพิ่ม เอ้ย! ทำ Transfer Learning สิ เกริ่นก่อน Transfer Learning ในช่วงไม่กี่ปีที่ผ่านมาวงการ Deep Learning กำลังฮอตมากเพราะมีโมเดลที่เก่งๆมากมายเกิดขึ้นทั้งในฝั่งของ Computer Vision (YOLO,R-CNN,Alexnet, etc.) หรือทางฝั่งของ NLP (BERT,XLNET,GPT-2, etc.) ยกตัวอย่างเช่น BERT โมเดลที่ต้องใช้ทรัพยากรคอมพิวเตอร์ในการเทรนเป็นจำนวนมากและก็ยังต้องใช้ดาต้าจำนวนมากถ้าอยากจะได้ผลลัพธ์ที่ดี

จะเกิดอะไรขึ้น ถ้าคุณต้องทำแต่สิ่งเดิมๆ วนไปวนมา 5 ปี ….กลับตัวก็ไม่ได้ให้เดินต่อไปก็มองไม่เห็นทาง บทความ Lifestyle แรกของปี 2020 หลังจากที่วิชาการมาเยอะแล้ว ก็อยากจะมาระบายเกี่ยวกับชีวิตของนักวิจัย(Rookie) และเส้นทางชีวิตหลังจากเลือกเรียนป.เอกที่ VISTEC นั้นเอง ในช่วงปี 2019 ที่ผ่านมาถือเป็นอีกปีที่ฟอร์มของผม อะไรหลายๆอย่างได้เกิดขึ้นมากมาย ทั้งได้ทำเพจ ได้ทำบล็อก ได้ร่วมงานกับทีมวิจัยต่างๆ และที่สำคัญ…ได้ที่เรียนต่อแล้ว !!!

เพจ #อ่านNLProc ก็ได้มีโอกาสพูดคุยกับนักวิจัยด้าน NLP จากศูนย์เทคโนโลยีอิเล็กทรอนิกส์และคอมพิวเตอร์แห่งชาติ (NECTEC) อีกหนึ่งท่านก็คือพี่เล็ก หรือ ดร.เทพชัย ทรัพย์นิธิ ปัจจุบันดูแลทีมวิจัยเกี่ยวกับด้าน Language และ Semantic #อ่านNLProc: ช่วยเปรียบเทียบ NLP ภาษาไทยสมัยก่อน กับสมัยปัจจุบันหน่อยครับ ว่าเปลี่ยนแปลงไปอย่างไรบ้างครับ ? ดร.เทพชัย: ก็ถ้าเป็นสมัยก่อน NLP ยังไม่บูมในตอนนั้น สิ่งที่เกิดขึ้นคือการทำ NLP แต่ละอย่างค่อนข้างใช้เวลาเยอะ ข้อมูลก็หาได้ค่อนข้างยากมาก แต่ตัดภาพมาที่ปัจจุบันก็จะเห็นได้ว่าเรามีข้อมูลให้เล่นได้มากขึ้น มี Algorithm ใหม่ๆเข้ามาช่วยเช่นพวก Deep Learning ให้งานมันง่ายและรวดเร็วมากยิ่งขึ้น…

เพจ #อ่านNLProc ได้มีโอกาสคุยกับนักวิจัยด้าน NLP จากศูนย์เทคโนโลยีอิเล็กทรอนิกส์และคอมพิวเตอร์แห่งชาติ (NECTEC) และยังเป็นผู้บุกเบิก NLP ไทยในยุคแรกๆอีกด้วย #อ่านNLProc: อยากให้พี่อาร์มช่วยเปรียบเทียบ NLP ภาษาไทยสมัยก่อน กับสมัยปัจจุบันหน่อยครับ ว่าเปลี่ยนแปลงไปอย่างไรบ้างครับ ? พี่อาร์ม: ผมเริ่มทำงานวิจัยด้าน NLP ในปี 2000 ในตอนนั้นเทคนิคหลักๆในการทำ NLP ก็คือการใช้ Statistics มา learn กับ ข้อมูลเพื่อสร้างเป็นโมเดล ในยุคนั้น Data มีน้อยมาก โดยส่วนมากทุกแล็บ ทุกมหาลัยจะสร้าง Data โดยใช้ทุนภายนอกเป็นของตัวเอง แต่ก็จะติดปัญหาคือ ไม่สามารถเปิดข้อมูล (Open data) ได้ ทำให้เกิดปัญหาเวลาตีพิมพ์ว่า ไม่สามารถเปรียบเทียบผลการทดลองกับคนอื่นได้ เพราะข้อมูลที่ใช้ทดลองไม่เหมือนกัน NLP ในยุคนั้นจึงยังไม่ค่อยก้าวไปไหน…

การจัดการกับ OOV ก็เป็นอีกความท้าทายหนึ่งของงาน NLP หนึ่งในปัญหาที่เจอบ่อยในงาน NLP คือการเจอคำที่ไม่เคยเห็นมาก่อนใน Training set (Out-of-Vocabulary (OOV)) และหนึ่งในประเภทของ OOV ที่เราเจอบ่อยในโลกแห่งความจริงก็คือคำที่พิมพ์ผิด หลายคนอาจสงสัยว่า อ้าวงั้นก็แค่เอาคำที่พิมพ์ผิดไปใส่ตอน train ก็น่าจะแก้ปัญหาได้สิ แต่ปัญหาคือมันมีคำผิดอยู่แบบหร็อมแหร็มและไม่ได้เจอแบบหลากหลาย และถึงแม้เราจะสร้างคำผิดมาเยอะๆ เราก็จะเจออีกปัญหานึงคือ ขนาดของ Training set ใหญ่เกินจน Train ไม่ไหว

คลังชุดข้อมูลสาธารณะ​ควรถูกมองเป็นโครงสร้างพื้นฐาน​ของ​ประเทศ​ ที่ภาครัฐ ภาคการศึกษา​ และภาคเอกชน​ร่วมกันพัฒนา By. Dr. Sarana Nutanong บทความนี้จะเป็นการบอกเล่าประสบการณ์งาน NLP ที่จัดขึ้นเมื่อวันที่ 27 กันยายน 2562 โดยจะเป็นการสรุปเหตุการณ์สำคัญต่างๆ สำหรับคนที่พลาดไปไม่ต้องเสียใจนะครับ จะมีวิดีโออัพโหลดในภายหลัง (ถ้ามีแล้วจะอัพเดทภายในบล็อกนี้) เริ่มจากแนะนำ Speaker ภายในงานก่อน แต่ละท่านเป็นผู้เชี่ยวชาญในสายงาน NLP และ Data เลยก็ว่าได้ เช่น

แยกภาพแบบง่ายๆ ไม่ต้องมีความรู้ด้าน image เลยด้วยซ้ำ ในบทความก่อนหน้านี้ผมไม่เคยทดลองข้อมูลกับรูปภาพเลยสักครั้ง และเนื่องจากเทรน “Image/Computer Vision” กำลังมาแรงมา เด็กๆที่มา Intern ที่มหาลัยของผมส่วนมากสนใจด้าน Image กันหมดเลย ทำให้ตัวผมต้องเปลี่ยนแปลงแนวทางของบทความบ้าง ที่จริงแล้วการจัดการรูปภาพ (Image) สามารถทำได้ง่ายๆด้วยคำสั่ง open แล้วก็จะแปลงไฟล์รูปภาพมาเป็น…. Matrix นั้นเอง ช่วงความรู้รอบตัว

นี้หรืออินโดนิเซีย สำหรับบทความนี้เป็นบทความบอกเล่าประสบการณ์การเรียน Machine Learning School ที่ อินโดนีเซีย 5 วัน (07/08/19–07/12/19) โดยจุดประสงค์ของงานนี้เกิดขึ้นได้เพราะงาน Conferrence ICML 2018 ที่จัดไปเมื่อปีก่อน โดยทางผู้จัดงานได้เล่งเห็นว่าโซน SEA เองก็มีประชากร 10% ของโลกนี้และผลงานก็ไม่ได้ด้อยกว่าโซนไหนเลยจึงจัดงานนี้ขึ้นมาเพื่อกระตุ้นความสนใจด้าน AI ในโซน SEA นั้นเอง ทำไมต้องอินโดนิเซีย