تطوير python bitarray حذف الأسطر المكررة

السلام عليكم

لدي سكربت بايثون يقوم بحذف الاسطر المكررة من ملفات ضخمة تصل الى 300GB و 5 مليار سطر، ويعتمد على bitarray في التحقق من تكرار السطر

الية العمل الحالية كالتالي:

يتم تحليل كل سطر لاستخراج معلومات معينة منه من خلال tldextract , ثم يتم جمع هذه المعلومات وتوليد قيمة hash باستخدام xxhash من المعلومات التي تم سحبها من السطر .

بعدها يتم فحص هذه القيمة داخل bitarray.

اذا لم يتم العثور على القيمة, يعني ان السطر جديد ويتم حفظ السطر بالكامل في الملف الجديد.

اما اذا تم العثور على القيمة , فيتم تجاهل السطر لانه مكرر.

بعد الانتهاء يتم حفظ bitarray لاستعمالها على ملفات اخرى

السكربت لا يستهلك الذاكرة , ويعمل سطر بسطر , فقط 8 جيجا ل bitarray و اقل من 3% من المعالج

المشكلة الحالية انه يعالج فقط حوالي 150 الف سطر في الثانية , وانا اريد ان اصل الى سرعة اكبر من اربعة مليون سطر في الثانية .

لانه حاليا بهذه السرعة لا يستهلك اي شيء من موارد الجهاز , بسبب انه يعمل بطريقة متسلسلة سطر بسطر

اريد تعديله باستعمال اي تقنيات او خوارزميات ترفع الاداء للوصول الى الهدف ، اريد حل مباشر من شخص لديه خبرة فعلية في هذا النوع من المشاريع .

وشكرا