تنظيف CSV قبل التحليل: مسار يحافظ على المعرفات ويكشف الصفوف المستبعدة

ملف CSV قد يُفتح من غير رسالة خطأ، ومع ذلك لا يكون جاهزًا للتحليل. قبل استخراج إجمالي أو رسم بياني، تحتاج إلى معرفة معنى الأعمدة، وطريقة قراءة النص، وما الذي سيمثل قيمة ناقصة أو صفًا مكررًا. المسار المقترح هنا يبدأ بنسخة خام محفوظة، ثم ينتقل إلى تحويلات صغيرة موثقة. الهدف أن تستطيع تفسير كل تغيير في البيانات وإعادته، بدل الوصول إلى جدول مرتب لا تعرف كيف تكوّن.

عرّف السؤال واحفظ نقطة البداية

حدد أولًا ما الذي تريد حسابه، وما وحدة الصف: طلب أم عميل أم حركة مستقلة؟ هذا التعريف سيساعد لاحقًا في تقرير ما إذا كان التشابه تكرارًا. احتفظ بالملف الأصلي بعيدًا عن النسخة التي ستعدلها، وسجل مصدره وتاريخ استلامه وعدد صفوف البيانات. اكتب وصفًا مختصرًا لكل عمود ونوعه المقصود. إذا لم يكن معنى حقل واضحًا، اسأل مالك البيانات قبل استبعاده. لا تجعل شكل القيمة وحده أساس القرار، خصوصًا عندما يكون العمود معرفًا لا كمية تدخل في الحساب.

افحص الترميز والفاصل قبل تعديل القيم

افتح عينة في أداة تسمح بمراجعة طريقة الاستيراد، ثم تأكد من ظهور الحروف العربية ومن فصل الأعمدة في مواضعها المقصودة. راجع صفوفًا تتضمن نصوصًا طويلة وحقولًا فارغة، ولا تعتمد على أول صف فقط. إذا بدت البيانات كلها داخل عمود واحد، راجع الفاصل المستخدم قبل أي تعديل جماعي. وحّد أسماء الأعمدة بعد فهمها، مع الاحتفاظ بخريطة تربط الاسم القديم بالجديد. افحص المسافات الزائدة في الأسماء والقيم، لكن تجنب إزالة علامات أو فراغات داخلية قد تحمل معنى في حقل معين.

ضع قواعد صريحة للأنواع والقيم الناقصة

اقترح نوعًا لكل حقل ثم راجع القيم التي لا تتوافق معه في قائمة استثناءات منفصلة. بالنسبة للمعرفات، اجعل الحفاظ على الصيغة الأصلية شرطًا للفحص؛ وبالنسبة للتواريخ، اطلب صيغة واضحة قبل تفسير قيم ملتبسة. لا تستبدل كل فراغ بصفر تلقائيًا: اكتب ما إذا كان الفراغ مجهولًا أم غير منطبق أم خطأ إدخال، وفق معرفة المصدر. إذا قررت استبعاد سجل أو تعويض قيمة، وثق القاعدة والسبب. هذه قرارات مرتبطة بالسؤال التحليلي، وليست وصفة واحدة تصلح لكل ملف.

راجع التكرار وأثبت أثر كل تحويل

حدد مفتاح التكرار بالرجوع إلى وحدة الصف التي كتبتها في البداية. تشابه اسمين لا يثبت أن السجلين واحد، كما أن تطابق صفين يحتاج تفسيرًا من سياق الجمع. احتفظ بسجل الصفوف المستبعدة وأسبابها بدل حذفها بلا أثر. بعد كل تحويل، قارن العدد السابق بالعدد اللاحق وافسر الفرق، وراجع عينة من القيم المتغيرة. عرّف المقياس النهائي قبل الرسم، ثم تحقق من أن تنظيف البيانات لم يغير تعريفه. إذا تعذر تفسير اختلاف، ارجع إلى آخر نسخة مفهومة قبل متابعة بقية العمل.