تنظيف ملفات CSV قبل التحليل

تنظيف ملفات CSV قبل التحليل: دليل تطبيقي لتحويل البيانات إلى قرارات قابلة للتحقق مع تجنب أخطاء التفسير الشائعة.

سلامة الأعمدة

اكتشف الترميز والفاصل ووجود علامات اقتباس داخل القيم قبل استيراد الملف؛ اختلافها قد ينقل الأعمدة بصمت.

القيم الناقصة

ميّز بين المفقود الحقيقي والصفر وعدم الانطباق، وسجل نسبة كل حالة.

التوثيق

احتفظ بنسخة خام وسجل تحويلات قابلة للإعادة مع اختبار عدد السجلات.

ابدأ ببيانات تجريبية قابلة للمراجعة، وثق التعريفات والافتراضات واستثناءات القياس، ثم اعمل مقارنة قبل التطبيق وبعده. لا تنشر استنتاجًا يتجاوز ما تسمح به العينة أو جودة مصدرها.

لماذا تفشل قراءة CSV بصمت؟

CSV ليس تنسيقًا واحدًا مفروضًا بإعدادات موحدة. قد يستخدم المصدر فاصلة أو فاصلة منقوطة، واقتباسات مزدوجة، وأسطرًا جديدة داخل قيمة مقتبسة. وقد تحوّل البرامج أرقام الهواتف أو رموز البريد أو المعرفات إلى أرقام وتفقد الأصفار البادئة. حدد ترميز UTF-8 واختبر عينة تحتوي نصًا عربيًا وحقولًا فارغة.

مثال للتحقق من الأعمدة

افترض ملفًا به الأعمدة customer_id و order_date و amount. يجب أن يظل customer_id نصًا حتى لو بدا رقميًا، وأن تتحول التواريخ وفق صيغة معلنة، وأن تُرفض قيم amount غير القابلة للتحويل إلى رقم بدل إسقاطها بصمت. تحقق من عدد الأعمدة في كل سجل ومن المعرفات المكررة قبل حساب إجمالي المبيعات.

القيم الناقصة والصفوف الشاذة

فرق بين قيمة غير متاحة، وقيمة لم تنطبق على الحالة، وقيمة صفر حقيقية. احسب نسبة الغياب لكل عمود قبل تعويض البيانات. إذا حذفت صفوفًا غير صالحة، اكتب عددها وأسباب الاستبعاد في تقرير حتى لا تتغير مؤشرات العمل دون تفسير.

اختبار جودة قابل للإعادة

ضع اختبارات تقارن عدد الصفوف قبل التحويل وبعده، ونوع البيانات، وتفرّد المفاتيح، ومجاميع الأعمدة ذات المعنى. احتفظ بالملف الخام غير معدل في موقع محمي، واكتب نسخة أداة التنظيف وتاريخ التشغيل وملخص التغييرات. إذا تغير المخطط لدى المصدر، أوقف النشر وأصدر تنبيهًا بدلاً من متابعة حسابات مضللة.