สืบค้นงานวิจัย
การพัฒนาระบบการวิเคราะห์ข้อมูลเว็บล็อกด้วย Hadoop และ Hive
จักรกฤษณ์ เสน่ห์ นมะหุต - มหาวิทยาลัยนเรศวร
ชื่อเรื่อง: การพัฒนาระบบการวิเคราะห์ข้อมูลเว็บล็อกด้วย Hadoop และ Hive
ผู้แต่ง / หัวหน้าโครงการ: จักรกฤษณ์ เสน่ห์ นมะหุต
ผู้แต่ง / หัวหน้าโครงการ (EN): Chakkrit Snae Namahoot
บทคัดย่อ: เนื่องจากปัจจุบันการใช้งานอินเทอร์เน็ตเป็นที่นิยมแพร่หลายมากขึ้น ไม่ว่าจะเป็นการใช้เพื่อการศึกษา การติดต่อสื่อสาร เป็นต้น ดังนั้นการจัดการทรัพยากรเครือข่ายให้เหมาะสมกับการใช้งานในแต่ละประเภทนั้น ต้องอาศัยการศึกษาพฤติกรรมและวัตถุประสงค์การใช้งานอินเทอร์เน็ตของผู้ใช้จากประวัติการเข้าใช้งานอินเทอร์เน็ตภายในองค์กร โดยที่ข้อมูลเหล่านี้ถูกจัดเก็บอยู่ในรูปแบบของ L๐g FIles ซึ่งอาจมีขนาดใหญ่ และถูกจัดเก็บแบบกระจัดกระจายไม่ได้รวบรวมอยู่ในจุดเดียว ทำให้ยากต่อการนำมาบริหารและวิเคราะห์เพื่อนำมาใช้ประโยชน์ งานวิจัยนี้มีวัตถุประสงค์เพื่อทำการศึกษาและพัฒนาเครื่องมือการวิเคราะห์ Log Files ด้วยกระบวนการ Hadoop และ Hve โดยแบ่งการพัฒนาออกเป็น 2 ส่วน คือ 1) การรวบรวมช้อมูลพฤติกรรมการเข้าถึงเว็บไซต์จาก Web History โดยใช้ภาษา PHP ผ่าน SQLite เพื่อนำข้อมูลดังกล่าวมาทำการแยกประภทเว็บชต์ที่สนใจ ได้แก่ Google., Youtube และ Facebook เพื่อนำมาวิเคราะห์ประเภทการเข้าใช้ของแต่ละเว็บไซต์ และนำผลการวิเคราะห์ที่ได้จัดเก็บลง Hive โดยการพัฒนาอัลกอริทึม ให้สามารถวิเคราะห์หมวดหมู่การเข้าถึงของแต่ละประเภทเว็บไซต์ใน Youtube และ Facebook และอัลกอริทึมในการวิเคราะห์คำหรือข้อความที่ใช้ในการค้นหาด้วยเว็บไซต์ G๐๐gle 2) ส่วนการวิเคราะห์พฤติกรรมและวัตถุประสงค์การเข้าใช้เว็บไซต์ในช่วงเวลาที่มีการเรียนการสอน ด้วยภาษา PHP ผ่าน HiveQL มาแสดงผลทางหน้าเว็บแอพพิเคชัน แบบเวลาจริง (Real time) โดยสามารถวิคราะห์ และแสดงผลในรูปแบบสัดส่วนร้อยละ จำนวนการเข้าใช้ของแต่ละประเภทเว็บไซต์ และความถี่ในการเข้าใช้ในแต่ละช่วงเวลา ผลการวิเคราะห์พฤติกรรมและวัตถุประสงค์การเข้าใช้เว็บไซต๊ พบว่า Facebook มีจำนวนการเข้าใช้งานมากที่สุด คิดเบ็น 62 เปอร์เซ็นต์ รองลงมาเป็นเว็บไซต์ Youtube และเว็บไซต์ Google โดยคิดเป็น 31 เปอร์เซ็นต์ และ 7 เปอร์เซ็นด์ ตามลำดับ โดยมีชวงเวลาที่มีการเข้าใช้มากที่สุดอยู่ท้ายคาบเรียนเป็นส่วนใหญ่ และผลการวิจัยพบว่า เครื่องมือวิเคราะห์ที่ผู้วิจัยได้พัฒนา สามารถจัดการ L0g FIles ขนาดใหญ่ได้อย่างมีประสิทธภาพ อีกทั้งการนำ Hive มาช่วยในการจัดการข้อมูลที่ถูกจัดเก็บบน Hadoop ช่วยให้ง่ายต่อการพัฒนาเครื่องมือเป็นอย่างมาก
บทคัดย่อ (EN): Nowadays, the Internet usage is widespread meeting many purposes such as education or communication. It is necessary to manage network resources to be applicable with each usage type. Hence, the behavior and purposes of Internet usage of the users were studied based on Web History within an organisation. The data was preserved as Log Files, which tend to be large. Since the data was stored separately and was not gathered in the same place; therefore, it is difficult to manage or utilize the data. This research study aims at examining and developing an analysis tool for Log Files applying Hadoop and Hive. The development was divided into two parts. First, data of accessed websites from Web History were gathered by using PHP via SQLite in order to classify the data into website categories, namely Google, Youtube and Facebook. The obtained data were used to analyse the category of accessed websites. The findings were recorded on Hive by an enhanced algorithm to be able to analyze the categories. The algorithm was also developed for analyzing the words and phrases used in Google search. Second, behavior and purposes of accessing websites during class was analyzed by PHP via HiveQL. The results are displayed in real time. In this process, we could analyze and display the results in a percent format, the number of website accesses, including the frequency of access during each period of time. The findings regarding behavior and purposes of accessing websites analysis revealed that Facebook was highest accessed accounting for 62 %. On the other hand, Youtube and Google were accessed at 31 and 7 %, respectively. The time with most frequent access was mainly at the end of class. It aiso found that the analysis tool developed by the researcher can manage large Log Files efficiently. Additionally, utilizing Hive could help managing the data on Hadoop, which greatly contributed to the tool development.
บทคัดย่อ: ไม่พบข้อมูลจากหน่วยงานต้นทาง
ภาษา (EN): th
เอกสารแนบ: http://nuir.lib.nu.ac.th/dspace/bitstream/123456789/4014/1/ChakkritsnaeNamahoot.pdf
เผยแพร่โดย: มหาวิทยาลัยนเรศวร
คำสำคัญ: เครื่องมือวิเคราะห์
คำสำคัญ (EN): analytic tool
เจ้าของลิขสิทธิ์: มหาวิทยาลัยนเรศวร
รายละเอียด: 1. เพื่อพัฒนาเครื่องมือการจัดเก็บ Log Files ขนาดใหญ่ ในรูปแบบ HDFS บนกรอบการทำงานของ Hadoop 2.เพื่อพัฒนาเครื่องมือวิเคราะห์พฤติกรรมและวัตถุประสงค์การใช้อินเทอร์เน็ตด้วย ด้วยกระบวนการ Hadoop และ Hive
หากไม่พบเอกสารฉบับเต็ม (Full Text) โปรดติดต่อหน่วยงานเจ้าของข้อมูล

การอ้างอิง

จักรกฤษณ์ เสน่ห์ นมะหุต. "การพัฒนาระบบการวิเคราะห์ข้อมูลเว็บล็อกด้วย Hadoop และ Hive". มหาวิทยาลัยนเรศวร. 2561

จักรกฤษณ์ เสน่ห์ นมะหุต. "การพัฒนาระบบการวิเคราะห์ข้อมูลเว็บล็อกด้วย Hadoop และ Hive". มหาวิทยาลัยนเรศวร. 2561. Print.



TARR Wordcloud:
การพัฒนาระบบการวิเคราะห์ข้อมูลเว็บล็อกด้วย Hadoop และ Hive
จักรกฤษณ์ เสน่ห์ นมะหุต
มหาวิทยาลัยนเรศวร
8 ตุลาคม 2561
การวิเคราะห์ระบบนิเวศเกษตร การพัฒนา N P K มิเตอร์เพื่อตรวจวิเคราะห์ N P K ในดิน การสำรวจและวิเคราะห์ เพื่อส่งเสริมพัฒนาผลิตภัณฑ์โครงการแปรรูปอาหาร การศึกษาวิเคราะห์แนวทางพัฒนาหน่อไม้ฝรั่งเพื่อการส่งออก การประยุกต์ใช้ระบบ Vessel Monitoring System (VMS) เพื่อวิเคราะห์สภาวะทรัพยากรและกิจกรรมทำประมงปลาผิวน้ำทางฝั่งทะเลอันดามันของประเทศไทย การพัฒนาระบบแนะนำข้อมูลท่องเที่ยวด้วยกระบวนการวิเคราะห์บทวิจารณ์ข้อมูลท่องเที่ยวออนไลน์โดยการใช้ Hadoop และ MapReduce การพัฒนาระบบฐานข้อมูลและเทคนิคการวิเคราะห์ซีเมนต์เฟสจากผลการวิเคราะห์ X-ray diffraction patterns การวิเคราะห์และจัดทำข้อมูลสถิติยางของประเทศไทย การใช้ระบบ Fisheries Map เพื่อการบริหารจัดการข้อมูลเชิงพื้นที่จับสัตว์น้ำ การพัฒนาโปรแกรมสำเร็จรูปในการวิเคราะห์ข้อมูลสำหรับการวางแผนการทดลอง
คัดลอก URL
กระทู้ของฉัน
ผลการสืบค้นทั้งหมด โพสต์     เรียงลำดับจาก
พัฒนาระบบโดยศูนย์ความรู้เฉพาะด้านวิศวกรรมความรู้และวิศวกรรมภาษาDeveloped by Center of Excellence for Unified Knowledge and Language Engineering
สนับสนุนโดยสำนักงานพัฒนาการวิจัยการเกษตร (องค์การมหาชน)Supported by the Agricultural Research Development Agency (Public Organization)
แบบสำรวจความพึงพอใจQuestionair