ما هي أداة إزالة الصفحات المكررة؟
أداة إزالة الصفحات المكررة هي أداة مجانية تعثر على الصفحات المتكررة داخل ملف PDF واحد وتبقي نسخة واحدة فقط من كل صفحة، وتعمل بالكامل داخل متصفحك دون رفع الملف إلى أي خادم. صُممت هذه الأداة في DocPivot لحالة واحدة محددة: الماسح الضوئي الذي سحب ورقتين معاً، أو ملف دُمج مرتين فنتج عنه تكرار صامت في منتصف المستند. الصفحة المكررة نادراً ما تكون نسخة متطابقة بايت ببايت، بل هي الورقة نفسها مرّت عبر الماسح مرتين، فاختلفت في الضوضاء والميل ودرجة الإضاءة. لهذا السبب تقارن الأداة النص والمظهر معاً، وتعرض عليك الصفحات المرشحة للحذف قبل أن تلمس أي شيء.
نظرة عامة على الأداة
الوظيفة الأساسية
تفحص الأداة كل صفحة في ملف PDF مرتين، مرة كنص ومرة كصورة، ثم تجمع النسخ المتطابقة وتبني ملفاً جديداً يحتوي على الصفحات الباقية بترتيبها الأصلي. تقرأ الأداة الملف باستخدام مكتبة pdf.js وتعرضه كشبكة صفحات مصغّرة، ثم تكتب النتيجة باستخدام pdf-lib. لا يغادر الملف جهازك في أي مرحلة من هذه المراحل، ولا يوجد رفع ولا طابور انتظار ولا حصة يومية. هذه الأداة جزء من مجموعة DocPivot لمعالجة مستندات PDF داخل المتصفح، وتكمل أدوات مثل دمج ملفات PDF التي غالباً ما تكون مصدر التكرار أصلاً.
المستخدمون الرئيسيون وحالات الاستخدام
يستخدم هذه الأداة كل من يتعامل مع أوراق ممسوحة ضوئياً بكميات كبيرة: موظفو الأرشيف في الجهات الحكومية، والمحاسبون الذين يرقمنون دفاتر الفواتير، ومكاتب المحاماة التي تجهّز حوافظ المستندات، والطلاب الذين يمسحون ملازم وكتباً كاملة. القاسم المشترك بينهم أن المستند طويل، وأن مراجعة كل صفحة بصرياً لاكتشاف التكرار مهمة مرهقة وغير عملية.
المشكلة والحل
المشكلة أن حذف الصفحات المكررة يدوياً يتطلب أن تعرف أرقام الصفحات مسبقاً، وهذا بالضبط ما لا تعرفه في ملف من مئات الصفحات. الأدوات الشائعة تحل نصف المشكلة فقط: تتيح لك حذف صفحات محددة من PDF بعد أن تحددها بنفسك. أما هذه الأداة فتتولى خطوة التحديد، وتخبرك كم صفحة وجدت وأي أرقام تحديداً، ثم تترك قرار التنفيذ لك.
ما الذي يُعدّ صفحة مكررة فعلياً؟
لا يوجد في مواصفة PDF أي تعريف رسمي لمصطلح «صفحة مكررة»، وهذا هو السبب الحقيقي وراء اختلاف نتائج الأدوات. معظم الأدوات المتاحة عبر الإنترنت تقارن البايتات، فتنجح مع ملف نُسخت فيه الصفحة برمجياً وتفشل تماماً مع ورقة مُسحت ضوئياً مرتين، لأن المسحين مختلفان في كل بكسل تقريباً. تعتمد أداة DocPivot منطقاً من طبقتين يعالج هذه الفجوة بدقة.
الطبقة الأولى: النص يحكم. تستخرج الأداة نص كل صفحة وتوحّد المسافات فيه، فإذا اختلفت الكلمات ولو قليلاً اعتُبرت الصفحتان مختلفتين، ولا نقاش بعد ذلك. هذا الاعتراض هو خاصية الأمان الأساسية في الأداة: صفحتان من نموذج واحد تحملان رقمين مختلفين لن تُدمجا أبداً.
الطبقة الثانية: الصورة تؤكد. عندما تتطابق الكلمات، أو عندما لا يوجد نص أصلاً لأن الصفحة صورة ممسوحة ضوئياً، تُستدعى البصمة البصرية. ترسم الأداة الصفحة على خلفية بيضاء وتوسّطها، ثم تحسب متوسط السطوع في شبكة من 32 في 32 خانة، فتصطف نسختان من الورقة نفسها خانة بخانة رغم اختلاف الميل والإضاءة. تُحذف الصفحة فقط عندما تتفق الإشارتان، وتبقى إذا اعترضت إحداهما.
إذا كان مستندك عبارة عن صور ممسوحة بالكامل ولا يحتوي على طبقة نص، فقد يفيدك تشغيل التعرّف الضوئي على الحروف في PDF أولاً، لأن وجود طبقة نصية يمنح الطبقة الأولى شيئاً تحكم به بدل الاعتماد على المظهر وحده.
الفوائد الرئيسية
- خصوصية كاملة للملف: يبقى المستند داخل المتصفح ولا يُرفع إلى أي خادم، وهذا يهم تحديداً في العقود والفواتير والمستندات الشخصية الممسوحة ضوئياً.
- اكتشاف عمليات المسح المكرر: تلتقط الأداة الورقة التي مرّت مرتين في الماسح، وهي الحالة التي تتجاهلها المقارنة بالبايتات.
- معاينة قبل التنفيذ: تُعلّم الصفحات المرشحة في الشبكة وتُذكر أرقامها في اللوحة الجانبية، فيتحول الإجراء التدميري إلى قرار قابل للمراجعة.
- تحكم في نطاق الفحص: تستطيع حصر الفحص في جزء من المستند، فلا تُمَس الصفحات خارج النطاق مهما بدت متشابهة.
- تقرير صريح بالنتيجة: تخبرك الأداة بعدد ما أُزيل، وتقول «لم يُعثر على تكرار» عند الاقتضاء بدل أن تصمت وتبدو معطلة.
- تنظيف تكميلي للمستند: بعد إزالة التكرار يمكنك تمرير الملف على أداة إزالة الصفحات الفارغة لالتقاط أوراق الفصل البيضاء المتبقية من عملية المسح.
- بلا قيود استخدام: لا تسجيل ولا مفتاح واجهة برمجية ولا حد يومي، لأن المعالجة تجري على جهازك لا على بنية تحتية مؤجرة.
الميزات الأساسية
- معالجة داخل المتصفح: تتم القراءة والمقارنة وإعادة البناء محلياً باستخدام pdf.js و pdf-lib فقط، دون أي خدمة خارجية.
- بصمة نصية موحّدة: يُستخرج نص الصفحة وتُوحّد مسافاته قبل المقارنة، فلا تُخدع الأداة بفروق التنسيق غير المرئية.
- بصمة بصرية 32×32: تُختزل الصفحة إلى شبكة متوسطات سطوع، وهي درجة تجريد تتحمل ضوضاء المسح وتحافظ على التمييز بين صفحتين مختلفتين.
- ثلاثة مستويات للتشابه: «نسخ متطابقة فقط» و«نفس الصفحة معاد مسحها» و«نفس الصفحة بمسح رديء»، والافتراضي هو المستوى الأوسط.
- اختيار النسخة المحتفظ بها: الأولى أو الأخيرة، والخيار الثاني مفيد لأن إعادة المسح غالباً تكون النسخة المصححة لصفحة خرجت رديئة أول مرة.
- نطاق صفحات مرن: يقبل الحقل صيغاً مثل 1-4 أو 8 أو 15 فما فوق، ويتركه فارغاً من يريد فحص المستند كاملاً.
- تجميع تسلسلي للنسخ: تُقارن كل صفحة بالصفحات المحتفظ بها حتى تلك اللحظة، فتنهار سلسلة من ثلاث نسخ إلى نسخة واحدة لا إلى نسختين.
- شبكة مصغّرات تفاعلية: تُعرض الصفحات كشبكة مرئية تشبه واجهة تنظيم صفحات PDF، مع تعليم واضح لما سيُحذف.
- حفاظ على الترتيب الأصلي: يُبنى الملف الجديد بالصفحات الباقية في ترتيبها الأول دون إعادة ترقيم أو إعادة ترتيب.
- تنزيل بقرار صريح: لا ينزل أي ملف تلقائياً، بل تظهر لوحة نتيجة تلخّص ما جرى وتعرض زر التنزيل.
كيف تعمل الأداة خطوة بخطوة
- افتح الملف محلياً: اسحب ملف PDF إلى الأداة، فيُقرأ داخل المتصفح ويُعرض كشبكة صفحات دون أي اتصال بالشبكة.
- اضبط الإعدادات: اختر مستوى التشابه، وحدد أي نسخة تريد الاحتفاظ بها، واكتب نطاق الصفحات إن أردت حصر الفحص.
- شغّل الفحص: تقرأ الأداة كل صفحة مرتين وتبني بصمتيها النصية والبصرية، ثم تجمع المتطابقات.
- راجع الترشيحات: تُعلّم الصفحات المرشحة للحذف في الشبكة وتُذكر أرقامها صراحة، مثل «وُجد تكراران، ستُزال الصفحتان 2 و3 ويبقى واحد».
- أعد البناء ونزّل: يُكتب ملف PDF جديد بالصفحات الباقية، وتعرض لوحة النتيجة ما أُزيل مع زر التنزيل.
إذا كانت الصفحات المكررة في مستندك موزعة على أقسام تريد فصلها لاحقاً، فقد يكون من الأنسب استخدام أداة استخراج صفحات من PDF بعد التنظيف لفصل كل قسم في ملف مستقل.
إعدادات التحكم الثلاثة وكيف تختار بينها
تمنحك الأداة ثلاثة إعدادات فقط، وكل إعداد منها يجيب عن سؤال عملي واحد. الجدول التالي يلخص الخيارات المتاحة والقيمة الافتراضية لكل منها.
| الإعداد | الخيارات المتاحة | القيمة الافتراضية |
|---|---|---|
| درجة التشابه المعتبرة تكراراً | نسخ متطابقة فقط · نفس الصفحة معاد مسحها · نفس الصفحة بمسح رديء | نفس الصفحة معاد مسحها |
| النسخة المحتفظ بها | الأولى · الأخيرة | الأولى |
| نطاق الصفحات المفحوصة | أي نطاق، مثل 1-4 أو 8 أو 15 فما فوق | فارغ، أي فحص الملف كاملاً |
اختر «نسخ متطابقة فقط» لملف رقمي بحت نُسخت فيه صفحة برمجياً، واختر المستوى الأوسط لمستند ممسوح ضوئياً بجودة معقولة، واترك المستوى الثالث للأوراق القديمة والفاكسات ونسخ التصوير الباهتة. كلما ارتفعت المرونة ارتفع معها احتمال ترشيح صفحتين متشابهتين ليستا نسختين، ولهذا تبقى المعاينة خطوة إلزامية في كل الحالات. أما الصفحة التي دخلت الماسح مقلوبة فلن تتطابق بصمتها البصرية مع نسختها المعتدلة، ويُستحسن تصحيح اتجاهها عبر أداة تدوير صفحات PDF قبل تشغيل الفحص.
متى تستخدم أداة إزالة الصفحات المكررة
استخدم هذه الأداة عندما تشك في وجود تكرار لكنك لا تعرف مكانه. هذه هي الحالة التي لا تخدمها أدوات الحذف اليدوي، لأنها تفترض أنك تملك قائمة أرقام جاهزة.
- مسح ضوئي بتغذية تلقائية: وحدة التغذية سحبت ورقتين ملتصقتين ثم أعاد المشغّل مسح الورقة، فظهرت مرتين في المخرجات.
- ملف دُمج أكثر من مرة: تكرار دمج المجلد نفسه ينتج مستنداً يحتوي كل صفحة فيه مرتين بالتتابع.
- أرشفة دفاتر الفواتير: مئات الأوراق المتشابهة شكلاً والمختلفة رقماً، وهي الحالة التي تحتاج فيها إلى اعتراض الطبقة النصية.
- تجهيز حافظة مستندات قانونية: الصفحة المكررة في الحافظة القضائية خطأ إجرائي، لا مجرد زيادة في الحجم.
- تنظيف قبل الضغط: إزالة التكرار تقلل عدد الصفحات فعلياً قبل تشغيل ضغط ملف PDF، وهذا أنفع من ضغط صفحات لا حاجة لها أصلاً.
- مراجعة ملف استلمته من طرف آخر: عندما لا تعرف تاريخ الملف ولا كيف بُني، الفحص أسرع من التصفح.
- تجهيز مستند للطباعة: كل صفحة مكررة ورقة مهدورة وتكلفة إضافية في الطباعة بالكميات.
في المقابل، إذا كنت تعرف أرقام الصفحات التي تريد التخلص منها بالضبط، فالحذف اليدوي أسرع وأدق. وإذا كان همّك الصفحات البيضاء فقط، فأداة الصفحات الفارغة هي الخيار المناسب لا هذه الأداة.
حالات استخدام من السوق العربي
أرشفة معاملات في جهة حكومية سعودية
السياق: إدارة أرشيف ترقمن معاملات ورقية ضمن مشاريع التحول الرقمي المرتبطة برؤية 2030.
العملية: مسح ضوئي بالتغذية التلقائية لدفعات من 200 إلى 400 ورقة، ثم فحص كل ملف بالمستوى الأوسط للتشابه، ثم مراجعة الترشيحات قبل الاعتماد.
النتيجة: تُحذف أوراق التغذية المزدوجة قبل دخول الملف إلى نظام الأرشفة، فلا تتضخم قاعدة البيانات بنسخ زائدة.
مكتب محاسبة في دبي يجهّز دفاتر ضريبة القيمة المضافة
السياق: تجميع فواتير ربع سنوية من عدة فروع في ملف واحد قبل رفعه للمراجعة.
العملية: دمج ملفات الفروع، ثم فحص المستند الناتج للكشف عن الفواتير التي أُرسلت من فرعين، مع الاحتفاظ بالنسخة الأخيرة الأوضح.
النتيجة: ملف مراجعة خالٍ من الفواتير المزدوجة، وهو فارق يوفر وقت المدقق ويمنع أسئلة لا لزوم لها.
مكتب محاماة في القاهرة يعدّ حافظة مستندات
السياق: حافظة تُقدَّم للمحكمة، وكل صفحة فيها مرقمة ومشار إليها في المذكرة.
العملية: إزالة التكرار أولاً، ثم إعادة الترقيم باستخدام أداة إضافة أرقام الصفحات إلى PDF حتى تتطابق الإشارات في المذكرة مع المستند النهائي.
النتيجة: حافظة متسقة الترقيم، وهو شرط عملي في المرافعة لا تفصيلة شكلية.
طالب جامعي في الكويت يرقمن ملازم المقرر
السياق: تصوير ملزمة كاملة بكاميرا الهاتف أو ماسح صغير، مع إعادة تصوير الصفحات التي خرجت مائلة.
العملية: فحص الملف بالمستوى الثالث للتشابه مع الاحتفاظ بالنسخة الأخيرة، لأن إعادة التصوير هي التصحيح عادةً.
النتيجة: ملزمة نظيفة بنسخة واحدة لكل صفحة، جاهزة للقراءة أو الطباعة.
كيف تختلف هذه الأداة عن الأدوات المتاحة عبر الإنترنت
| المعيار | الأداة الشائعة عبر الإنترنت | أداة إزالة الصفحات المكررة |
|---|---|---|
| مكان المعالجة | رفع إلى خادم بعيد | داخل متصفحك |
| أساس المقارنة | تطابق البايتات غالباً | النص أولاً ثم المظهر |
| إعادة مسح الورقة نفسها | لا تُكتشف | تُكتشف |
| عرض ما سيُحذف | غير متاح عادةً | معلَّم في الشبكة ومذكور بالأرقام |
| حصر الفحص بنطاق | غير متاح | أي نطاق صفحات |
| الإبلاغ عن النتيجة | صامت | تقرير بعدد ما أُزيل |
الفارق الجوهري ليس في عدد الميزات بل في تعريف المشكلة. الأدوات التي تقارن البايتات تحل مسألة النسخ البرمجي، بينما هذه الأداة تحل مسألة الورق. ومن يعمل على مستندات متعددة المراحل يمكنه ربط هذه الخطوة بخطوات أخرى ضمن سير عمل PDF متكامل بدل معالجة كل ملف على حدة.
الحدود الصادقة للأداة
الأداة تصدر حكماً، لا حقيقة مطلقة. مصطلح «مكرر» غير معرّف في مواصفة PDF، ووجود ثلاثة مستويات للتشابه هو اعتراف صريح بهذا: إعادة مسح الورقة نفسها تختلف قليلاً في كل مكان، بينما صفحتان من النموذج نفسه تختلفان كثيراً في مكان واحد فقط.
- الصفحات خارج النطاق لا تُمَس إطلاقاً: نطاق مكتوب بشكل خاطئ يعني أن الأداة لن تفحص شيئاً، وهو سلوك مقصود أفضل من حذف غير مقصود.
- لا تميّز بين المستندات: لا تستطيع الأداة أن تخبرك أن صفحتين تنتميان إلى مستندين مختلفين ضُمّا في ملف واحد.
- التكرار المشروع يُرشَّح أيضاً: صفحة فاصلة بيضاء أو غلاف متكرر هو تكرار بكل المقاييس، وإزالته سلوك صحيح للأداة لا خطأ فيها.
- المستندات بلا طبقة نصية أصعب: عندما ينعدم النص يعتمد الحكم على المظهر وحده، وهنا ترتفع قيمة المراجعة البصرية قبل التأكيد.
- الأداء يتأثر بجهازك: المعالجة محلية، فالملفات الضخمة على أجهزة قديمة تستغرق وقتاً أطول من الأرقام المرجعية.
هذه الحدود مذكورة هنا عن قصد، لأن أداة تحذف صفحات من مستند رسمي يجب أن تكون واضحة بشأن ما لا تستطيع ضمانه.
أدوات ذات صلة
أكمل معالجة مستندك باستخدام أدوات DocPivot التكميلية التالية:
- تقسيم ملف PDF: افصل المستند الطويل إلى ملفات أصغر حسب النطاقات التي تحددها.
- محرر PDF: عدّل المحتوى وأعد ترتيب العناصر داخل المستند مباشرة في المتصفح.
- معالجة PDF بالدفعات: طبّق العملية نفسها على عدة ملفات في تشغيل واحد.
- تحويل PDF إلى Word: حوّل المستند النظيف إلى ملف قابل للتحرير النصي.
- ضغط PDF إلى 100 كيلوبايت: قلّص الملف إلى حجم محدد يناسب حدود الرفع في المنصات الحكومية.
- إصلاح ملف PDF: عالج الملفات التالفة التي يرفض المتصفح فتحها.
- تنقيح PDF: احجب البيانات الحساسة نهائياً قبل مشاركة المستند.
- توقيع PDF: أضف توقيعك إلى المستند النهائي دون طباعته وإعادة مسحه.
الأسئلة الشائعة
الحذف اليدوي يتطلب أن تعرف أرقام الصفحات مسبقاً، بينما هذه الأداة تتولى اكتشافها. استخدم الحذف اليدوي عندما تكون الأرقام معروفة، واستخدم هذه الأداة عندما تشك في وجود تكرار دون أن تعرف موضعه.
لا، تجري المعالجة بالكامل داخل متصفحك. لا يوجد رفع ولا تخزين مؤقت على خوادم DocPivot، ولا تتصل الأداة بأي خدمة خارجية أثناء العمل.
نعم، عبر البصمة البصرية التي تقارن متوسطات السطوع في شبكة 32×32. هذه الطريقة مصممة تحديداً للصفحات التي لا تحمل طبقة نصية قابلة للاستخراج.
تبقى الصفحتان إذا اختلف نصهما، لأن اختلاف الكلمات اعتراض نهائي. هذا ما يحمي الفواتير والنماذج المتسلسلة التي تتطابق شكلاً وتختلف في رقم واحد.
اختر «نسخ متطابقة فقط» للملفات الرقمية البحتة، والمستوى الأوسط للمسح الضوئي العادي، والمستوى الثالث للأوراق الباهتة أو الفاكسات. المستوى الأوسط هو الافتراضي لأنه يناسب أغلب المستندات الممسوحة.
نعم، المعاينة خطوة إلزامية وليست خياراً. تُعلَّم الصفحات المرشحة في شبكة المصغّرات وتُذكر أرقامها في لوحة النتائج قبل أن تُزال أي صفحة.
النسخة الأولى افتراضياً، ويمكنك اختيار الأخيرة بدلاً منها. الخيار الثاني منطقي عند المسح الضوئي لأن إعادة المسح تكون عادةً تصحيحاً لصفحة خرجت رديئة.
نعم، عبر حقل نطاق الصفحات الذي يقبل صيغاً مثل 1-4 أو 8 أو 15 فما فوق. الصفحات خارج النطاق لا تُفحص ولا تُحذف مهما كان تشابهها.
نحو ست ثوانٍ ونصف في القياس المرجعي الداخلي. الرقم يتغير بحسب قوة جهازك وكثافة الصور في الصفحات، لأن الحساب يجري محلياً لا على خادم.
لا، تُنسخ الصفحات الباقية كما هي إلى ملف جديد دون إعادة ضغط أو إعادة ترميز. الترتيب الأصلي يبقى كما هو أيضاً.
غالباً لأن نص الصفحتين مختلف ولو بحرف واحد، فاعترضت الطبقة النصية. جرّب التحقق من وجود أرقام متسلسلة أو تواريخ مختلفة في الصفحتين قبل رفع مستوى المرونة.
يجب فك الحماية أولاً حتى يتمكن المتصفح من قراءة محتوى الصفحات. الملفات المشفرة لا تسمح باستخراج النص ولا برسم الصفحات، وهما أساس عمل الأداة.
نعم، فهي تعمل في متصفحات الهواتف الحديثة دون تثبيت تطبيق. الملفات الكبيرة جداً قد تكون أبطأ على الهاتف بسبب محدودية الذاكرة مقارنة بالحاسب.
تعاملها كتكرار فقط عندما تتكرر صفحة فارغة أكثر من مرة، فتبقي واحدة منها. لحذف كل الصفحات البيضاء بصرف النظر عن تكرارها، استخدم أداة إزالة الصفحات الفارغة المخصصة لذلك.
