اللغة العربية
تكامل كاميرا USB مع منصات FPGA: أنظمة رؤية منخفضة الكمون مدعومة بالذكاء الاصطناعي
تم إنشاؤها 08.21
يفرض التطور السريع للحوسبة الطرفية والرؤية الآلية في الوقت الفعلي متطلبات صارمة لحلول التقاط الصور ومعالجتها عالية الأداء ومنخفضة الكمون. تتميز مصفوفات البوابات القابلة للبرمجة ميدانيًا (FPGAs) بقدرات معالجة متوازية قوية، ومنطق أجهزة قابل للتخصيص، وكفاءة عالية في استهلاك الطاقة، مما يجعلها مثالية للتطبيقات التي تركز على الرؤية بما في ذلك الأتمتة الصناعية، والتصوير الطبي، وأنظمة إنترنت الأشياء الذكية. كاميرات USB تُعتمد على نطاق واسع في السيناريوهات المدمجة والصناعية نظرًا لفعاليتها من حيث التكلفة، وتوافقها الفوري (plug-and-play)، وتنوع مواصفات منتجاتها التي تغطي الدرجات الاستهلاكية والصناعية. ومع ذلك، فإن دمج كاميرات USB مع منصات FPGA ظلّ مقيدًا لفترة طويلة بتحديات جوهرية مثل عدم توافق البروتوكولات، وارتفاع زمن الاستجابة في النظام، وعدم كفاية التحكم في معاملات الكاميرا في الوقت الفعلي، مما يحدّ بشكل كبير من إمكانات الأداء الكاملة لمعالجة الرؤية في الوقت الفعلي القائمة على FPGA.
بنى التكامل التقليدية تعتمد إطارًا لنقل البيانات بوساطة وحدة المعالجة المركزية (CPU)، حيث تستقبل وحدة المعالجة المركزية بيانات الفيديو من كاميرات USB وتقوم بتخزينها مؤقتًا قبل إعادة توجيهها إلى مصفوفات البوابات المنطقية القابلة للبرمجة (FPGAs). يُدخل هذا البنى زمن انتقال زائد في الإرسال، ويفشل في الاستفادة الكاملة من موارد عتاد FPGA، ويكسر مزايا المعالجة المتوازية التي توفرها FPGAs. تقدم هذه الوثيقة بشكل منهجي بنيين للتكامل بدون وحدة معالجة مركزية لحل الاختناقات التقنية المذكورة أعلاه، وتوفر إرشادات شاملة تغطي اختيار العتاد، وإجراءات التنفيذ، وأساليب التصحيح الهندسي لبناء أنظمة رؤية عالية الموثوقية ومنخفضة زمن الاستجابة.
مزايا تكامل كاميرا USB مع FPGA
تشكل FPGAs وكاميرات USB مزيجًا متكاملًا للغاية لتطبيقات الرؤية الطرفية ذات القيود الصارمة على عرض النطاق الترددي والكمون واستهلاك الطاقة. تتطابق نقاط القوة الأساسية للجهازين تمامًا مع المتطلبات التقنية لمعالجة الصور في الوقت الفعلي.
• مزايا نواة FPGA: على عكس وضع تنفيذ التعليمات التسلسلي في وحدات المعالجة المركزية، تدعم FPGA معالجة متوازية للبيانات متعددة القنوات، مما يجعلها مناسبة للغاية للمهام البصرية الحساسة للوقت مثل تصفية الصور، واكتشاف الأهداف، وتحليل مسارات الحركة.
• مزايا نواة كاميرا USB: تدعم كاميرات USB نطاقات دقة تتراوح من VGA إلى 4K وتدعم تنسيقات صور رئيسية متعددة بما في ذلك YUV وRGB وMJPEG. كما أن شكلها المدمج يتيح نشرها بمرونة في مختلف الأجهزة البصرية المدمجة.
سيناريوهات التطبيق النموذجية
1. الأتمتة الصناعية: تعالج FPGA تدفقات الفيديو في الوقت الفعلي من كاميرات USB لتحقيق اكتشاف عيوب لوحات الدوائر المطبوعة، وتتبع حركة خط التجميع، والتحكم البصري في الأذرع الآلية بزمن استجابة أقل من ميلي ثانية.
2. التصوير الطبي: يتيح دمج البيانات منخفض الكمون المعالجة الفورية لصور التنظير الداخلي والموجات فوق الصوتية، مما يساعد الأطباء على التشخيص السريع والدقيق.
3. أجهزة إنترنت الأشياء الذكية: الجمع بين FPGAs وكاميرات USB يدعم التشغيل منخفض الطاقة لأنظمة المراقبة الأمنية الذكية، والتحكم في الوصول بالتعرف على الوجه، وأنظمة كشف الرؤية المرورية.
4. أنظمة رؤية السيارات: في أنظمة مساعدة السائق المتقدمة (ADAS)، تعالج FPGAs بيانات فيديو كاميرا USB في الوقت الفعلي لإكمال اكتشاف المشاة وخطوط المسار والمركبات، مما يحسن سلامة القيادة.
الاختناقات الرئيسية لخطط دمج USB-FPGA التقليدية
تعتمد معظم حلول الدمج التقليدية على وحدات المعالجة المركزية (CPU) كوحدات وسيطة لنقل البيانات. تجلب هذه الطريقة المبسطة في التنفيذ أربعة اختناقات حرجة في الأداء لا يمكنها تلبية متطلبات أنظمة الرؤية عالية الدقة في الوقت الفعلي.
1. ارتفاع زمن الاستجابة: تخزين البيانات ومعالجتها وإعادة توجيهها بواسطة وحدة المعالجة المركزية سيؤدي إلى زمن استجابة للنظام يتراوح بين 10-100 مللي ثانية، وهو أمر قاتل للسيناريوهات الحساسة للوقت مثل اكتشاف العيوب الصناعية وأنظمة مساعدة السائق المتقدمة (ADAS) في السيارات، مما يؤدي بسهولة إلى تفويت الاكتشاف وتأخر الاستجابة.
2. عدم كفاية استخدام موارد FPGA: وضع إعادة توجيه البيانات بواسطة وحدة المعالجة المركزية يجبر FPGA على العمل في وضع انتظار البيانات التسلسلي، مما لا يمكنه من إظهار خصائص المعالجة المتوازية، مما يؤدي إلى خمول الوحدات المنطقية وموارد DSP.
٣. قدرة محدودة على التحكم في الكاميرا في الوقت الفعلي: معظم كاميرات USB القياسية ببروتوكول UVC يتم التحكم بها عبر واجهات برمجية (API) على جانب وحدة المعالجة المركزية (CPU)، مما يجعل من المستحيل على وحدات FPGA ضبط معلمات مثل التعريض الضوئي، الكسب، توازن اللون الأبيض وغيرها بشكل ديناميكي في الوقت الفعلي. هذا العيب يحد من قدرة الأنظمة البصرية على التكيف مع ظروف الإضاءة المتغيرة.
٤. عيوب توافق البروتوكول: لا تدعم وحدات FPGA بروتوكول مضيف USB بشكل أصلي. تحتاج الحلول التقليدية إلى الاعتماد على رقائق تحكم خارجية لـ USB أو تحليل البروتوكول عبر وحدة المعالجة المركزية، مما يزيد من تعقيد النظام ويضيف زمن استجابة إضافيًا.
على الرغم من أن واجهات الرؤية الاحترافية مثل Camera Link و MIPI يمكنها تجنب المشاكل المذكورة أعلاه، إلا أن كاميرات USB تتمتع بمزايا لا يمكن تعويضها في التكلفة والتوافق. الحل الأساسي لتجاوز القيود في الأداء هو اعتماد بنية اتصال مباشرة بين كاميرات USB ووحدات FPGA دون تدخل وحدة المعالجة المركزية.
استراتيجيات مبتكرة للتكامل منخفض الزمن الكامن بدون وحدة معالجة مركزية
إزالة الوصلة الوسيطة للمعالج هي جوهر التكامل منخفض الزمن الكامن. فيما يلي اقتراحان لبنيتين للاتصال المباشر بالأجهزة تم التحقق منهما ميدانيًا لتحقيق تفاعل بيانات عالي الكفاءة بين كاميرات USB وFPGAs.
الاستراتيجية 1: تنفيذ وحدة تحكم مضيف USB قائمة على FPGA ومكدس بروتوكول UVC
تنفذ هذه البنية وحدة تحكم مضيفة USB كاملة وحزمة بروتوكول UVC (فئة فيديو USB) بناءً على منطق أجهزة FPGA، مما يمكّن FPGA من إكمال تحليل البروتوكول واستقبال البيانات والتحكم في معلمات كاميرات USB مباشرة دون مشاركة وحدة المعالجة المركزية. يمكن لهذا المخطط تقليل زمن الاستجابة للنظام إلى أقل من 1 مللي ثانية وتحقيق تحكم كامل على مستوى الأجهزة في معلمات الكاميرا.
مبدأ التنفيذ والخطوات
1. اختيار شريحة USB PHY: مطابقة شرائح الطبقة المادية عالية السرعة USB 3.0/3.2 مثل FTDI FT602 و Cypress CYUSB3014. تتواصل الشرائح مع FPGAs عبر ناقلات متوازية. يعتبر FT602 الجهاز المفضل للتكامل الصناعي بسبب تكلفته المنخفضة واستهلاكه المنخفض للطاقة وبساطة تكييف برنامج التشغيل.
2. تطوير حزمة بروتوكول UVC لـ FPGA: استخدام لغة وصف الأجهزة Verilog أو VHDL لإكمال تطوير المنطق الأساسي، بما في ذلك تعداد أجهزة USB، وتكوين نقطة التحكم في معلمات الكاميرا، ونقل بيانات الفيديو عالي السرعة بناءً على نقاط النهاية المتزامنة.
3. دمج خط أنابيب معالجة الصور في العتاد: تضمين منطق المعالجة المسبقة للصور مثل اكتشاف الحواف، وتصحيح الألوان، وقمع الضوضاء في منطق العتاد FPGA لتحقيق معالجة متوازية لخط أنابيب بيانات الفيديو والقضاء على تأخير نقل البيانات.
المزايا الأساسية
• زمن استجابة منخفض للغاية للنظام، مع التحكم في التأخير من البداية إلى النهاية ضمن 1 مللي ثانية، مما يلبي متطلبات المعالجة الصارمة في الوقت الفعلي
• دعم الضبط الديناميكي في الوقت الفعلي لمعلمات التعرض والكسب للكاميرا بناءً على منطق FPGA
• الاستفادة الكاملة من موارد الحوسبة المتوازية في FPGA لتعظيم استخدام العتاد
• التخلص من الأجهزة المعتمدة على وحدة المعالجة المركزية وتقليل التكلفة الإجمالية لمكونات النظام
حالة تطبيق هندسية: الكشف عن العيوب في الوقت الفعلي للوحات الدوائر المطبوعة
يعتمد نظام تصنيع صناعي على كاميرا USB عالمية الإغلاق بدقة 4K وشريحة Xilinx Kintex-7 FPGA، ويبني حزمة بروتوكول UVC مادية تعتمد على شريحة FT602 USB PHY. يعالج النظام تدفقات الفيديو عالية الدقة بدقة 4K بمعدل 30 إطارًا في الثانية مع زمن استجابة أقل من ميلي ثانية واحدة. تحقق خوارزمية كشف الحواف المعجَّلة عبر FPGA التعرف الفوري على مكونات PCB المفقودة وعيوب الدوائر القصيرة. مقارنةً بمخطط المعالجة التقليدي القائم على وحدة المعالجة المركزية، تنخفض نسبة النتائج الإيجابية الخاطئة في كشف العيوب بنسبة 30%. وفي الوقت نفسه، تقوم FPGA بضبط معلمات التعرض للكاميرا ديناميكيًا وفقًا لتغيرات الإضاءة في المصنع لضمان دقة كشف مستقرة في ظروف العمل المعقدة.
الاستراتيجية 2: بنية تسريع الذكاء الاصطناعي FPGA القائمة على جسر USB-to-AXI
بالنسبة لسيناريوهات رؤية الذكاء الاصطناعي الطرفية مثل اكتشاف الأهداف والتعرف على الوجوه، يمكن اعتماد بنية جسر USB-to-AXI. يحول هذا المخطط بيانات فيديو USB إلى إشارات ناقل AXI4-Stream القياسية من خلال منطق الجسر العتادي، وينقل البيانات مباشرة إلى نواة الاستدلال الذكاء الاصطناعي في جانب FPGA، ويحقق معالجة ذكية منخفضة الكمون من النهاية إلى النهاية.
مبدأ التنفيذ والخطوات
1. بناء جسر USB-to-AXI: اعتماد نوى IP مطورة مسبقًا رسميًا مثل Xilinx USB 3.0 Host Controller IP أو منطق Verilog مخصص لإكمال تعداد أجهزة USB وتحويل دفق بيانات فيديو USB إلى تنسيق بيانات ناقل AXI المناسب للنقل الداخلي في FPGA.
2. دمج نواة استدلال الذكاء الاصطناعي العتادية: تضمين نوى تسريع Xilinx DPU أو Intel OpenVINO FPGA في مشروع FPGA لدعم عملية التسريع العتادي لنماذج CNN الرئيسية مثل YOLO وResNet.
3. تحسين تدفق البيانات الداخلية: التعاون مع ذاكرة BRAM الموجودة على شريحة FPGA وذاكرة DDR الخارجية لبناء آلية تخزين مؤقت معقولة للبيانات، وضمان نقل سلس لبيانات الفيديو بين الجسر ونواة الذكاء الاصطناعي، وتجنب فقدان الإطارات وازدحام البيانات.
المزايا الأساسية
• تحقيق استدلال الذكاء الاصطناعي الحوافي محليًا دون الاعتماد على وحدة المعالجة المركزية وموارد الحوسبة السحابية
• بنية ناقل AXI تدعم التوسع القابل للتطوير، ويمكن دمجها بمرونة مع نوى الملكية الفكرية الوظيفية مثل معالجة الصور المسبقة وتخزين البيانات
• متوافق مع جميع كاميرات USB القياسية UVC والكاميرات الصناعية المخصصة، مع قدرة قوية على التكيف مع السيناريوهات
حالة تطبيق هندسية: مراقبة معدل ضربات القلب دون تلامس
يستخدم حل الأجهزة الطبية كاميرا USB شائعة ولوحة تطوير FPGA من نوع Xilinx PYNQ-Z2. يتم نقل بيانات الفيديو التي تلتقطها الكاميرا إلى FPGA عبر جسر USB-to-AXI. بعد التحسين المادي ونشر خوارزمية تكبير فيديو أويلر، يلتقط النظام تغييرات دقيقة في لون البشرة الناتجة عن تذبذبات تدفق الدم في الوجه، وذلك لتحقيق كشف غير تلامسي لمعدل ضربات القلب. تبلغ دقة اكتشاف النظام 95% مقارنة بأجهزة المراقبة التلامسية التقليدية، ويكون زمن الاستجابة الإجمالي أقل من 50 مللي ثانية. يُطبَّق النظام في سيناريوهات مراقبة المرضى في المستشفيات، مما يقلل بشكل فعال من مخاطر العدوى المتبادلة.
إرشادات اختيار مكونات الأجهزة
المطابقة المعقولة للأجهزة هي الشرط الأساسي للتشغيل المستقر لأنظمة التكامل منخفضة التأخير. فيما يلي معايير اختيار موجهة لـ FPGAs وكاميرات USB والمكونات الداعمة لسيناريوهات التطبيق المختلفة.
1. اختيار FPGA
• السيناريوهات على مستوى الدخول (التطبيقات المدنية وتطبيقات DIY): يُفضل استخدام Xilinx Artix-7 و Intel Cyclone IV. تدعم هذه الأجهزة بروتوكول USB 2.0، ولديها موارد منطقية معتدلة، ومناسبة لالتقاط الفيديو بدقة منخفضة (VGA/720P) ومعالجة بسيطة لكشف الحركة.
• السيناريوهات المتوسطة (المعدات الصناعية والطبية): يُوصى باستخدام Xilinx Kintex-7 و Intel Arria V. تدعم هذه الأجهزة نقل البيانات عالي السرعة عبر USB 3.0/3.2، ومجهزة بشرائح DSP كافية وموارد تخزين مدمجة، ويمكنها تلبية متطلبات معالجة الكاميرات عالية الدقة 1080P/4K والخوارزميات البصرية المعقدة.
• السيناريوهات المتقدمة (أنظمة مساعدة السائق المتقدمة في السيارات ورؤية الذكاء الاصطناعي المتقدمة): يتم اعتماد أجهزة Xilinx UltraScale و Intel Stratix 10. تدعم هذه الأجهزة نقل البيانات عالي النطاق الترددي عبر USB 3.2 Gen 2 بسرعة 10 جيجابت في الثانية، وتدمج وحدات تسريع ذكاء اصطناعي مخصصة، مما يمكنها من تحقيق الاستدلال الفوري لنماذج الشبكات العصبية التلافيفية عالية الدقة.
2. اختيار كاميرا USB
• الدقة ومعدل الإطارات: كاميرات 720P/1080P مناسبة للمراقبة البصرية التقليدية؛ كاميرات 4K عالية الدقة مطلوبة للسيناريوهات عالية الدقة مثل اكتشاف العيوب الصناعية. يجب أن يتوافق معدل الإطارات (30FPS/60FPS) مع قدرة معالجة FPGA لتجنب فقدان الإطارات.
• إصدار بروتوكول USB: واجهة USB 3.0/3.2 إلزامية لنقل الفيديو عالي الدقة لضمان هامش النطاق الترددي؛ USB 2.0 ينطبق فقط على السيناريوهات منخفضة السرعة بمستوى VGA منخفض الدقة.
• نوع البروتوكول: كاميرات UVC القياسية تتميز بالتوصيل والتشغيل والتوافق القوي، وهي مناسبة لمعظم السيناريوهات العامة؛ بينما تدعم كاميرات البروتوكول المخصص الصناعي التحكم في المزيد من المعلمات الأساسية، وهي مناسبة لمعدات الرؤية الصناعية عالية الدقة.
• الخصائص الوظيفية: بالنسبة لسيناريوهات الحركة عالية السرعة، اختر كاميرات الغالق الشامل لتجنب ضبابية الحركة؛ وفي البيئات الصناعية والطبية المظلمة، أعط الأولوية للأجهزة ذات الحساسية المنخفضة للإضاءة ومعلمات التعرض القابلة للتعديل.
3. المكونات الداعمة
• شريحة USB PHY: FT602 لحلول USB 3.0 منخفضة التكلفة؛ CYUSB3014 للسيناريوهات الصناعية عالية الأداء؛ النواة الفكرية الرسمية لـ USB 2.0 من إنتل للتصميمات المبتدئة منخفضة السرعة.
• أجهزة التخزين: تُستخدم ذاكرة DDR3/DDR4 الخارجية للتخزين المؤقت لبيانات الفيديو كبيرة السعة؛ وتُستخدم BRAM الموجودة على الشريحة للتخزين في الوقت الفعلي لبيانات المعالجة الوسيطة.
• وحدة إمداد الطاقة: أنظمة الرؤية متوسطة المدى مزودة بمصدر طاقة 5 فولت/3 أمبير لتلبية الطلب المستقر على الطاقة لشرائح FPGA والكاميرا ورقاقة PHY.
نصائح عملية للتنفيذ وتحسين التصحيح
بهدف معالجة المشكلات الشائعة في تطوير تكامل كاميرا USB مع FPGA، تم تلخيص المواصفات العملية التالية وطرق التصحيح لتحسين كفاءة التطوير واستقرار النظام.
1. التحقق من النموذج الأولي أولاً: إكمال التحقق الوظيفي بناءً على لوحات التطوير الناضجة مثل Xilinx PYNQ-Z2 و Intel DE10-Nano قبل تصميم PCB المخصص. يمكن لواجهة USB المدمجة والموارد الطرفية التحقق بسرعة من توفر مكدس UVC ومنطق جسر AXI، مما يقلل من مخاطر تعديل الأجهزة.
2. إعادة استخدام النوى الجاهزة المبنية مسبقًا من البائع: الاستفادة الكاملة من نوى IP المحسّنة لمضيف USB وبروتوكول UVC وجسر AXI المقدمة رسميًا من Xilinx وIntel. يمكن للنوى IP الموثوقة تجنب أعمال التطوير المتكررة وتقصير دورة المشروع بشكل كبير.
3. تصحيح أخطاء اتصال USB الموحد: استخدام أدوات احترافية مثل Ellisys USB Explorer وLeCroy USB Analyzer لالتقاط بيانات نقل USB وتحديد فشل تعداد الأجهزة وأخطاء تحليل البروتوكول. استخدام أدوات Vivado Logic Analyzer وQuartus SignalTap لمراقبة إشارات الناقل الداخلي للـ FPGA وحالة المعالجة في الوقت الفعلي.
4. تحسين زمن استجابة النظام: اعتماد نقاط نهاية متزامنة USB لنقل الفيديو في الوقت الفعلي؛ تكوين مخازن مؤقتة صغيرة الحجم وثابتة لتقليل تأخير تخزين البيانات؛ استخدام تقنية خط الأنابيب والمعالجة المتوازية في FPGA لتسريع عمليات الخوارزميات؛ توصيل الكاميرا مباشرة بشريحة PHY وتجنب موزعات USB للقضاء على زمن الاستجابة الإضافي.
اتجاهات التطوير المستقبلية
مع الترقية التكرارية لمعايير نقل USB وتقنية شرائح FPGA، ستتطور أنظمة الرؤية المتكاملة لكاميرا USB-FPGA نحو نطاق ترددي أعلى وزمن استجابة أقل وعتبة أقل. اتجاهات التطوير الأساسية الثلاثة هي كما يلي.
1. انتشار تكامل USB4 وThunderbolt: تدعم واجهات USB4 وThunderbolt 4 أقصى عرض نطاق ترددي يبلغ 40 جيجابت في الثانية، مما يتيح المعالجة في الوقت الفعلي لفيديو فائق الدقة 8K. سيقوم الجيل القادم من FPGAs بدمج منطق تحكم USB4 الأصلي، مما يلغي الحاجة إلى رقائق PHY خارجية ويقلل من تأخير النظام وحجم العتاد.
2. نشر الذكاء الاصطناعي الطرفي منخفض التكلفة على FPGA: تُزوَّد شرائح FPGA منخفضة التكلفة مثل Artix-7 وCyclone V تدريجيًا بوحدات تسريع ذكاء اصطناعي خفيفة الوزن، مما يتيح تطبيقات رؤية ذكاء اصطناعي طرفية منخفضة الطاقة والتكلفة في المنازل الذكية وأجهزة إنترنت الأشياء الصغيرة.
3. توحيد معايير تصميم واجهة FPGA-USB: تعمل المنظمات الصناعية ومصنعو FPGA معًا على تعزيز توحيد تكامل USB-FPGA، وإطلاق تصاميم مرجعية موحدة ونوى IP عامة، مما يقلل العتبة التقنية للمطورين ويتيح النشر السريع لأنظمة الرؤية.
الخلاصة
بنية التكامل المباشر بدون وحدة معالجة مركزية تحل تمامًا مشاكل زمن الاستجابة وهدر الموارد في الحلول التقليدية القائمة على كاميرا USB مع FPGA. إنّ حزمة بروتوكول UVC المعتمدة على FPGA وجسر USB-to-AXI، وهما الاستراتيجيتان الأساسيتان، تطلقان العنان الكامل لمزايا FPGA في المعالجة المتوازية والتسريع العتادي، مما يحقق نقلًا بزمن استجابة فائق الانخفاض، وتحكمًا لحظيًا في معلمات الكاميرا، واستغلالًا فعالًا للموارد. هذه الحلول قابلة للتطبيق على نطاق واسع في الفحص الصناعي، والمراقبة الطبية، والرؤية في السيارات، وسيناريوهات الذكاء الاصطناعي الطرفي. في التطوير الهندسي الفعلي، يمكن تعظيم أداء النظام من خلال المطابقة العتادية المناسبة، وإعادة استخدام النوى الفكرية الرسمية، والتحسين المستهدف لزمن الاستجابة. مع الترقية المستمرة لبروتوكولات النقل وأداء الرقائق، ستصبح أنظمة الرؤية المتكاملة لكاميرا USB مع FPGA الحل السائد منخفض التكلفة وعالي الأداء في مجال الرؤية اللحظية الطرفية.
اتصل
اترك معلوماتك وسنتصل بك.
واتساب
وي شات