วิธีเปิดไฟล์ข้อความและ CSV ขนาดใหญ่มาก


MS Excel สามารถแสดงได้ 1,048,576 แถว แม้ว่าการใช้งานปกติอาจดูเหมือนเป็นตัวเลขที่มาก แต่ก็มีสถานการณ์มากมายที่ยังไม่เพียงพอ

ไม่ว่าคุณจะดูไฟล์บันทึกหรือชุดข้อมูลขนาดใหญ่ ก็เป็นเรื่องง่ายที่จะเจอไฟล์ CSV ที่มีแถวหลายล้านแถวหรือไฟล์ข้อความขนาดมหึมา เนื่องจาก เอ็กเซล ไม่สามารถรองรับไฟล์ขนาดใหญ่ขนาดนี้ คุณจะเปิดมันได้อย่างไร มาดูกัน

เหตุใดโปรแกรมแก้ไขข้อความปกติจึงไม่เปิดไฟล์ขนาดใหญ่จริงๆ ได้

คอมพิวเตอร์มีพื้นที่เก็บข้อมูลกิกะไบต์ แล้วเหตุใดโปรแกรมแก้ไขข้อความจึงไม่สามารถเปิดไฟล์ขนาดใหญ่ได้

มีสองปัจจัยที่มีบทบาทที่นี่ แอปพลิเคชันบางตัวมีการจำกัดจำนวนข้อมูลที่สามารถแสดงได้แบบฮาร์ดโค้ด ไม่สำคัญว่าพีซีของคุณจะมีหน่วยความจำเท่าใด เครื่องก็แค่ไม่ได้ใช้มัน

ปัญหาที่สองคือ RAM โปรแกรมแก้ไขข้อความจำนวนมากไม่มีการจำกัดจำนวนแถว แต่ไม่สามารถแสดงไฟล์ขนาดใหญ่ได้เนื่องจากข้อจำกัดของหน่วยความจำ โดยจะโหลดไฟล์ทั้งหมดลงใน RAM ของระบบ ดังนั้นหากหน่วยความจำนี้ไม่ใหญ่พอ กระบวนการก็จะล้มเหลว

วิธีที่ #1: การใช้โปรแกรมแก้ไขฟรี

วิธีที่ดีที่สุดในการดูไฟล์ข้อความที่มีขนาดใหญ่มากคือการใช้... โปรแกรมแก้ไขข้อความ ไม่ใช่แค่โปรแกรมแก้ไขข้อความเท่านั้น แต่ยังมีเครื่องมือสำหรับการเขียนโค้ดอีกด้วย โดยปกติแล้วแอปดังกล่าวสามารถจัดการไฟล์ขนาดใหญ่ได้โดยไม่มีปัญหาและไม่มีค่าใช้จ่าย

โปรแกรมดูไฟล์ข้อความขนาดใหญ่ น่าจะเป็นแอปพลิเคชันที่ง่ายที่สุด มันใช้งานง่ายมาก ทำงานเร็วและใช้ทรัพยากรน้อยมาก ข้อเสียเพียงอย่างเดียว? มันไม่สามารถแก้ไขไฟล์ได้ แต่หากคุณต้องการดูเฉพาะไฟล์ CSV ขนาดใหญ่ นี่คือเครื่องมือที่ดีที่สุดสำหรับงาน

สำหรับการแก้ไขไฟล์ข้อความขนาดใหญ่ คุณควรลอง อีแมคส์ เดิมทีสร้างขึ้นสำหรับระบบ Unix มันทำงานได้ดีบน Windows เช่นกัน และสามารถรองรับไฟล์ขนาดใหญ่ได้ ในทำนองเดียวกัน นีโอวิม และ ข้อความประเสริฐ เป็น IDE น้ำหนักเบาสองตัวที่สามารถใช้เพื่อเปิดไฟล์ข้อความ CSV ขนาดกิกะไบต์ได้

หากสิ่งที่คุณกำลังมองหาคือการค้นหาข้อมูลผ่านไฟล์บันทึกขนาดใหญ่ klogg ก็เป็นเพียงเครื่องมือสำหรับคุณ ทางแยกการอัปเดตของ กล๊อก ยอดนิยม แอปพลิเคชันนี้ช่วยให้คุณดำเนินการค้นหาที่ซับซ้อนผ่านไฟล์ข้อความขนาดมหึมาได้อย่างง่ายดาย เนื่องจากไฟล์บันทึกที่สร้างโดยคอมพิวเตอร์มักจะมีแถวได้หลายล้านแถว klogg จึงได้รับการออกแบบมาให้ทำงานกับขนาดไฟล์ดังกล่าวได้โดยไม่มีปัญหา.

วิธีที่ #2: แบ่งออกเป็นหลายส่วน

ปัญหาทั้งหมดในการพยายามเปิดไฟล์ CSV ขนาดใหญ่คือไฟล์มีขนาดใหญ่เกินไป แต่จะเป็นอย่างไรหากคุณแยกไฟล์เหล่านี้ออกเป็นไฟล์เล็กๆ หลายไฟล์

นี่เป็นวิธีแก้ปัญหายอดนิยม เนื่องจากโดยทั่วไปแล้วไม่จำเป็นต้องเรียนรู้อินเทอร์เฟซของโปรแกรมแก้ไขข้อความใหม่ คุณสามารถใช้ หนึ่งในตัวแยก CSV จำนวนมากที่มีออนไลน์ เพื่อแบ่งไฟล์ขนาดใหญ่ออกเป็นไฟล์ที่เปิดง่ายจำนวนหนึ่งแทน แต่ละไฟล์เหล่านี้สามารถเข้าถึงได้ตามปกติ

อย่างไรก็ตาม นี่ไม่ใช่วิธีที่ดีที่สุดในการดำเนินการนี้ การแยกไฟล์ขนาดใหญ่มักนำไปสู่การพิมพ์ผิดแปลกๆ หรือไฟล์ที่กำหนดค่าไม่ถูกต้อง นอกจากนี้ การเปิดแต่ละส่วนแยกกันจะป้องกันไม่ให้คุณกรองข้อมูลทั้งหมดพร้อมกัน

วิธีที่ #3: นำเข้าสู่ฐานข้อมูล

ไฟล์ข้อความและ .csv ที่ขยายเป็นหลายกิกะไบต์มักเป็นชุดข้อมูลขนาดใหญ่ แล้วทำไมไม่นำเข้ามันลงในฐานข้อมูลล่ะ?

SQL เป็นภาษามาร์กอัปฐานข้อมูลที่ใช้กันมากที่สุดในปัจจุบัน มี SQL หลายเวอร์ชัน ที่ใช้งานอยู่ แต่วิธีที่ง่ายที่สุดน่าจะเป็น MySQL และถ้าโชคดี ก็สามารถ แปลงไฟล์ CSV ให้เป็นตาราง MySQL.

นี่ไม่ใช่วิธีที่ง่ายที่สุดในการจัดการกับไฟล์ CSV ขนาดใหญ่ ดังนั้น เราขอแนะนำวิธีนี้เฉพาะในกรณีที่คุณต้องการจัดการกับชุดข้อมูลขนาดใหญ่เป็นประจำ หาก MySQL ฟังดูยากเกินไป คุณสามารถนำเข้าไฟล์ .csv ของคุณไปที่ เอ็มเอส แอคเซส แทนได้เสมอ

วิธีที่ #4: วิเคราะห์ด้วยไลบรารี Python

เมื่อคุณทำงานกับไฟล์ .csv ที่มีข้อมูลหลายล้านแถว คุณจะไม่สามารถทำความเข้าใจด้วยตนเองได้มากนัก คุณอาจต้องการกรองข้อมูลและเรียกใช้คำค้นหาที่เฉพาะเจาะจงเพื่อทำความเข้าใจแนวโน้ม

แล้วทำไมไม่ เขียนโค้ดหลาม ทำเช่นนั้นล่ะ

ขอย้ำอีกครั้งว่า นี่ไม่ใช่วิธีที่ใช้งานง่ายที่สุด แม้ว่า Python ไม่ใช่ภาษาการเขียนโปรแกรมที่ยากที่สุดในการเรียนรู้ จะเป็นการเขียนโค้ด ดังนั้นอาจไม่ใช่แนวทางที่ดีที่สุดสำหรับคุณ อย่างไรก็ตาม หากคุณพบว่าตัวเองต้องแยกวิเคราะห์ไฟล์ CSV ที่มีขนาดใหญ่มากในแต่ละวัน คุณอาจต้องการ ทำงานอัตโนมัติด้วยโค้ด Python

วิธีที่ #5:  ด้วยเครื่องมือระดับพรีเมียม

โปรแกรมแก้ไขข้อความที่เราเห็นในวิธีแรกไม่ใช่เครื่องมือเฉพาะสำหรับการประมวลผล CSV เป็นเครื่องมืออเนกประสงค์ที่สามารถใช้กับไฟล์ .csv ขนาดใหญ่ได้เช่นกัน

แต่แล้วแอปพลิเคชันพิเศษล่ะ? ไม่มีแอปใดที่สร้างขึ้นเพื่อแก้ไขปัญหานี้ใช่ไหม.

มีอยู่จริง ตัวอย่างเช่น CSV Explorer สร้างจากกระบวนการเดียวกับที่เราอธิบายไว้ในสองวิธีสุดท้าย (ฐานข้อมูล SQL และโค้ด Python) เพื่อสร้างแอปที่สามารถดูและแก้ไขไฟล์ CSV ทุกขนาดได้ คุณสามารถทำทุกอย่างที่คาดหวังจากเครื่องมือสเปรดชีต เช่น สร้างกราฟหรือกรองข้อมูลใน CSV Explorer

อีกตัวเลือกหนึ่งคือ อัลตร้าแก้ไข ต่างจากเครื่องมือก่อนหน้านี้ ซึ่งไม่ได้มีไว้สำหรับไฟล์ .csv เท่านั้น แต่สำหรับไฟล์ข้อความประเภทใดก็ได้ มันสามารถจัดการข้อความและไฟล์ CSV ที่มีขนาดไม่กี่กิกะไบต์ได้อย่างง่ายดาย พร้อมอินเทอร์เฟซที่คล้ายกับโปรแกรมแก้ไขฟรีหลายตัวที่เราพูดถึงก่อนหน้านี้

ข้อเสียเปรียบประการเดียวของเครื่องมือเหล่านี้คือเป็นแอปพลิเคชันระดับพรีเมียม ซึ่งกำหนดให้คุณต้องได้รับใบอนุญาตแบบชำระเงินจึงจะสามารถใช้งานได้ คุณสามารถทดลองใช้เวอร์ชันทดลองใช้ฟรีเพื่อดูฟีเจอร์ต่างๆ ได้ตลอดเวลา หรือหากคุณใช้งานเพียงครั้งเดียว

วิธีที่ดีที่สุดในการเปิดไฟล์ข้อความขนาดใหญ่และ CSV คืออะไร

ในยุคของ Big Data นี้ ไม่ใช่เรื่องแปลกที่จะพบกับไฟล์ข้อความที่มีขนาดกิกะไบต์ ซึ่งอาจเป็นเรื่องยากที่จะดูด้วยเครื่องมือในตัว เช่น Notepad หรือ MS Excel หากต้องการเปิดไฟล์ CSV ขนาดใหญ่ดังกล่าวได้ คุณต้องดาวน์โหลดและใช้แอปพลิเคชันบุคคลที่สาม

หากคุณต้องการดูไฟล์ดังกล่าว โปรแกรมดูไฟล์ข้อความขนาดใหญ่คือตัวเลือกที่ดีที่สุดสำหรับคุณ หากต้องการแก้ไขจริงๆ คุณสามารถลองใช้โปรแกรมแก้ไขข้อความที่มีคุณลักษณะหลากหลายเช่น Emacs หรือใช้เครื่องมือระดับพรีเมียมเช่น CSV Explorer

เทคนิคเช่นการแยกไฟล์ CSV หรือการนำเข้าไปยังฐานข้อมูลเกี่ยวข้องกับขั้นตอนมากเกินไป คุณควรได้รับใบอนุญาตแบบชำระเงินสำหรับเครื่องมือระดับพรีเมียมโดยเฉพาะ หากคุณพบว่าตัวเองต้องทำงานกับไฟล์ข้อความขนาดใหญ่เป็นจำนวนมาก

.

กระทู้ที่เกี่ยวข้อง:


24.10.2021