กลุ่มนวัตกรรมทางสังคม>ป-การพัฒนาระบบวิเคราะห์ความรู้สึกคิดเห็นเชิงตอบโต้จากบทวิจารณ์บนสังคมออนไลน์ โดยอาศัยการเรียนรู้เครื่องกลและการเรียนรู้เชิงลึก กรณีศึกษากลุ่มสินค้า ด้านเครื่องสำอาง อาหาร และสุขภาพ (ระยะที่ 2)-ปรีดิ์ เที่ยงบูรณธรรม และคณะ
ป-การพัฒนาระบบวิเคราะห์ความรู้สึกคิดเห็นเชิงตอบโต้จากบทวิจารณ์บนสังคมออนไลน์ โดยอาศัยการเรียนรู้เครื่องกลและการเรียนรู้เชิงลึก กรณีศึกษากลุ่มสินค้า ด้านเครื่องสำอาง อาหาร และสุขภาพ (ระยะที่ 2)-ปรีดิ์ เที่ยงบูรณธรรม และคณะ
ผู้วิจัย : อาจารย์ ดร.ปรีดิ์ เที่ยงบูรณธรรม และคณะ   โพสต์ เมื่อ 23 กุมภาพันธ์ 2022

รายงานฉบับสมบูรณ์เล่มนี้นำเสนอกิจกรรมที่ดำเนินการในระยะที่ 2 สำหรับโครงการพัฒนาระบบวิเคราะห์ความรู้สึกคิดเห็นจากสื่อสังคมออนไลน์ กรณีศึกษาสินค้าเครื่องสำอาง อาหาร และ สุขภาพ ระยะเวลา 8 เดือน เริ่มต้นตั้งแต่วันที่ 1 พฤศจิกายน พ.ศ. 2563 จนถึง วันที่ 30 มิถุนายน พ.ศ. 2564 โดยมีสองขั้นตอนการทำงานหลักคือ (1) การพัฒนาโมเดลพยากรณ์โดยอาศัยการเรียนรู้เครื่องกล (Machine-Learning) และการเรียนรู้เชิงลึก (Deep-Learning) (2) การพัฒนาเว็บแอปพลิเคชันในแบบ (Interactive-Web Analytic Performance Dashboard) 

โดยในกิจกรรมแรกทางทีมนักวิจัยเริ่มต้นจากการนำข้อมูลภาษาไทยที่สกัดมาจากเว็บไซต์พันทิปที่ผ่านการประมวลผลภาษาล่วงหน้า จำนวนทั้งหมด 60,084 ประโยคมาทำการสกัดตัวแปร (Feature extraction) โดยใช้วิธี Bag-of-Words (BOW), Term Frequency-Inverse Document Frequency (TF-IDF) ใช้ในการสร้างโมเดลจากอัลกอริทึมของการเรียนรู้เครื่องกล และวิธี Word-embedding สำหรับการเรียนรู้เชิงลึก ผลการทดลองเผยให้เห็นว่าการแตกตัวแปรอิสระแบบ TF-IDF และอัลกอริทึม Logistic regression (LR) เป็นโมเดลพยากรณ์ที่ดีและเหมาะสมในการนำไปใช้มากที่สุด จากการสำรวจประสิทธิภาพของโมเดลโดยใช้ตัววัดทั้งหมด โมเดล LR มีประสิทธิภาพเป็นที่น่าพอใจ โดยมีค่าความถูกต้องในการพยากรณ์อยู่ที่ 77.93 % จากการทำนายประโยคจากอารมณ์สามขั้ว บวก ลบ และมีค่าเฉลี่ยกลาง  F1-score อยู่ที่ 70.3 ตัวโมเดลได้ถูกนำไปใช้โดยเปลี่ยนเป็น byte stream เพื่อใช้งานในส่วนระบบของหลังบ้าน (back-end) ในส่วนเชื่อมต่อประสานกับผู้ใช้ User interface (UI) ต่อไป 

กิจกรรมที่สอง ทางทีมได้พัฒนาระบบเว็บแอปพลิเคชันการวิเคราะห์ความรู้สึกคิดเห็นเชิงโต้ตอบ (Interactive sentiment dashboard) ด้วยหลักการ Nested model for visualization design โดยเริ่มจากการทบทวนวรรณกรรมและการศึกษาผู้ประกอบการ SME เกี่ยวกับการรับฟังและสำรวจความคิดเห็นของผู้บริโภคที่มีต่อสินค้า เพื่อกำหนดปัญหาการเข้าถึงข้อมูลความรู้สึกคิดเห็นจากบทวิจารณ์สื่อสังคมออนไลน์และความต้องการของผู้ใช้งาน และทางทีมนักวิจัยได้ออกแบบส่วนต่อประสานกับผู้ใช้งาน (User interface) ให้รองรับการใช้งานได้ (Usable) การใช้งานบนอุปกรณ์หลายชนิดที่มีขนาดหน้าจอแตกต่างกัน (Responsive) และปฏิสัมพันธ์การใช้งานระหว่างระบบกับผู้ใช้ (Interactive) โดยได้ใช้เว็บเทคโนโลยีหลายตัว อาทิ HTML5, CSS, JavaScript โดยประยุกต์ใช้ Angular JS ซอฟต์แวร์เฟรมเวิร์กและไลบรารี D3.js ในการพัฒนาเว็บแอปพลิเคชันการวิเคราะห์ความรู้สึกคิดเห็นเชิงโต้ตอบ 

ผลการประเมินระบบกับผู้เข้าร่วม (ผู้ประกอบการ SMEs) 10 รายผ่านกรณีศึกษา พบว่าผู้เข้าร่วมส่วนใหญ่มีความพึงพอใจกับการใช้งานระบบวิเคราะห์ความคิดเห็นและความรู้สึก สามารถเห็นวิธีการแนวทางการใช้ระบบเพื่อไปต่อยอดทางธุรกิจทางการตลาดได้ นอกจากนี้ทางทีมนักวิจัยยังได้พัฒนาระบบเว็บการสำรวจความคิดเห็นและความรู้สึก (Web customer sentiment survey) เนื่องจากต้องการสนับสนุนกลุ่มผู้ประกอบการ SME รายเล็กในการสำรวจความรู้สึกคิดเห็นของกลุ่มผู้บริโภคเป้าหมายที่มีต่อสินค้า และจากการทดสอบเว็บการสำรวจความคิดเห็นเกี่ยวกับผลิตภัณฑ์ทดลองกับกลุ่มเป้าหมายจำนวน 50 ราย พบว่ากลุ่มเป้าหมายมีค่าเฉลี่ยของระดับความพึงพอใจต่อประสบการณ์ในการใช้งานเว็บ Customer sentiment survey คะแนนเต็ม 5 อยู่ที่เท่ากับ 4.20 คะแนน และปัจจัยตัวบ่งชี้สำหรับการออกแบบเว็บฟอร์ม Customer sentiment survey ที่มีผลต่อความพึงพอใจของผู้ใช้ คือ 1) ประโยชน์ของเว็บแบบฟอร์มในการเก็บข้อมูลความรู้สึกคิดเห็นที่มีประสิทธิภาพ 2) การออกแบบตัวช่วย (guideline) ในการตอบคำถามลงในแบบฟอร์ม และ 3) การออกแบบเว็บฟอร์มให้เป็นมิตรกับผู้ใช้ (User friendly) ง่ายต่อการใช้ ส่วนตัวบ่งชี้ที่นักออกแบบสามารถนำมาพิจารณาน้อยที่สุดคือ การออกแบบเว็บแบบฟอร์มที่ช่วยทำให้ผู้ใช้รู้สึกมั่นใจว่าได้กรอกแบบฟอร์มสำเร็จแล้ว

สุดท้ายนี้ระบบวิเคราะห์ความรู้สึกคิดเห็นจากสื่อสังคมออนไลน์ กรณีศึกษาสินค้าเครื่องสำอาง อาหาร และ สุขภาพได้ถูกพัฒนาเป็นที่เรียบร้อยแล้ว ทางทีมนักวิจัยหวังว่าระบบนี้จะให้ประโยชน์กับผู้ประกอบการ SME และ ผู้ที่เกี่ยวข้อง รวมถึงผู้ที่สนใจในการทำวิจัยเชิงรุกสำหรับการวิเคราะห์ความรู้สึกโดยใช้การประมวลผลภาษาธรรมชาติ (NLP) ผู้ที่สนใจสามารถนำไปใช้ได้โดยผ่านทางเว็บไซต์ http://kt.cmtourism.org โดยเข้าระบบผ่านชื่อผู้ใช้ username: admin@example.com และ password: secret หรือลงทะเบียนใหม่ได้ที่หน้าเว็บไซต์

This final report details all of the activities carried out during the project's second phase (A development of a Sentimental Analysis System based on cosmetic, food, and health products). The project's duration was set at eight months, beginning on November 1st, 2020, and ending on June 30th, 2021. The first task is to create a predictive model using the Machine-Learning and Deep-Learning approaches. The second task involves creation of an Interactive-responsive Web Analytic Performance Dashboard and the customer sentimental survey form.

We started by using our corpus that was extracted from the Pantip website. The corpus consists of 60,084 samples/sentences. Performance of the feature extraction techniques was investigated both Bag-of-Words, TF-IDF, and Word-embedding. Various machine-learning algorithms and Deep-Neural networks were employed. The experiment results reveal the TF-IDF with Logistic regression achieved the highest classification accuracy rate of 77.93%, and the model showed the mean of F1-Score of 70.9. Therefore, the model is suitable for deployment. We have developed the proposed web-based interactive sentiment performance dashboard based on the nested model for visualization design theory regarding the second task. Literature reviews related to the designed were provided, along with research challenges in design principles were found and tackled.  

Regarding the second main task in this phase, we focused on developing two web-based applications, including designing, and implementing the proposed dashboard and web-based customer sentimental survey. Both the applications take interactive and responsive design, the usability of the application, and user experience. The web technologies were applied in the development, including HTML5, CSS, JavaScript with Angular framework, and D3.js library. Furthermore, to evaluate the usability, such as user satisfaction of customer sentiment survey form, fifty participants (I.e., those involved in SME business) were involved in the assessment. Regarding the feedback, we received a 4.20 of 5 scores of the validation metric. Moreover, we have review factors that are related to website user satisfaction. Nineteen factors were identified from the literature review, and questionnaires were generated and distributed to 50 participants. Results revealed that factors such as usefulness and user friendly were related to the user satisfaction of the proposed customer sentimental survey form.

Finally, we hope that our implemented Thai sentimental analysis system will be useful to stakeholders and researchers interested in applying Natural Language Processing (NLP) techniques in real-world problems using Machine-Learning and Deep-Learning. Our implemented system is available to be used via the URL: http://kt.cmtourism.org.To login to the system, the user can use the username: admin@example.com, and the password is secret. New users can register for a new account and login to use the services.