Arabic Restaurant Complaints Classifier

تصنيف شكاوى المطاعم العربية

نموذج عربي تدرّب على ٩٥ ألف شكوى حقيقية من تطبيقات التوصيل السعودية، يصنّف أي شكوى إلى واحدة من ٨ فئات.

Classify

جرّب النموذج بشكواك

اكتب شكواك بالعربية، وستظهر أعلى ثلاث فئات مع نسبة الثقة لكل واحدة.

اكتب شكوى أو اضغط على مثال أدناه type a complaint above, or pick an example below
Examples
Performance

كل الفئات فوق ٨٠٪

النموذج يتعامل مع الفئات الكبيرة والصغيرة بنفس الجودة. هذه القياسات على مجموعة اختبار مستقلّة، لم تُستخدم أثناء التدريب.

F1 لكل فئة
test set, 13,986 reviews
Per-class F1 bar chart Per-class F1 bar chart

أعلى فئة (جودة الطعام) ٩٦٫٢٪، أدنى فئة (عامة) ٨٤٫٩٪. الفارق ١١٫٣ نقطة فقط.

رحلة النموذج
accuracy across iterations
Accuracy progression across iterations Accuracy progression across iterations

رحلتنا من TF-IDF إلى BERT، ثم إلى ensemble من ٤ نماذج. وحذفنا فئة "الجو والمكان" بعد تدقيق كشف أن ٩٩٪ من تصنيفاتها كانت خاطئة.

عن النموذج

نموذج CAMeLBERT-mix تدرّب على ٩٥ ألف شكوى عربية حقيقية، معظمها من تطبيقات التوصيل السعودية. مخصّص للّهجة السعودية والخليجية. على مجموعة اختبار مستقلّة من ١٣٬٩٨٦ مراجعة، دقّة الـensemble الكامل (٤ نماذج) ٩٥٫٠٥٪ بفاصل ثقة ٩٥٪ بين ٩٤٫٧٠٪ و ٩٥٫٤١٪. النموذج المنشور هنا هو أفضل نموذج فردي من هذا الـensemble، وكل الفئات الثماني فوق ٨٠٪ F1.