تطبيق محمول للصم والبكم يحول الاشارات الى صوت...

24
رات الى شا بكم يحول ا صم وال ل ل تطبيق محمول صوت(1) د/ لهادي جابررق محمد عبدا طامعلوماتت و اللحاسبا مدرس بكلية اويسة الس بجامعة قنالمجموعة البحثية المصرية عضو با( SRGE ) http://www.egyptscience.net Email: [email protected] It is based on our paper “”Social network framework for deaf and blind people based on cloud computing

Transcript of تطبيق محمول للصم والبكم يحول الاشارات الى صوت...

Page 1: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

(1)صوتتطبيق محمول للصم والبكم يحول االشارات الى

طارق محمد عبدالهادي جابر/ د

مدرس بكلية الحاسبات و المعلومات

بجامعة قناة السويس

(SRGE)عضو بالمجموعة البحثية المصرية

http://www.egyptscience.net

Email: [email protected] is based on our paper “”Social network framework for deaf and blind people based on cloud computing”

Page 2: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

Prof.Aboul Ella’s Group

22/12/2014 2

Page 3: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

Important Notices

• This presentation is delivered at

• The workshop entitled “The Role of Information Technology in Sustainable

Development”, organized by UNESCO, Cairo, Egypt, Feb, 9-13, 2014

• It is also based on our paper:

• El-Gayyar, M.; Elyamany, H.F.; Tarek Gaber ; Hassanien, A.E., "Social network

framework for deaf and blind people based on cloud computing," Computer Science

and Information Systems (FedCSIS), 2013 Federated Conference on , vol., no.,

pp.1313,1319, 8-11 Sept. 2013,

• Available at http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=6644184&tag=1

Page 4: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

مقدمة

تقريبا قد يصاب أحدنا باحد اعضاء•

في يوم مندائم مؤقت أو جسمه بشكل

االيام

أ ال يتجزجزء لذا يمكن القول بأن اإلعاقة •

الحالة اإلنسانية من

Page 5: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

في العالمعن الوضع لمحة

مليار نسمة7.5إجمالي معاق من شخص مليارنحو •

يكابدون الفقرهائل عدد •

، عياالنعزال االجتماكبير للغاية منهم يعانون من عدد •

ية الكثير منهم من التعليم، والتوظيف والرعايحرم •

.والقانونيالصحية، ونظم الدعم االجتماعي

النامية يعيشون في الدول % 80•

Page 6: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

لمحة عن الوضع في مصر

المصريةاالتصاالتوزارةبياناتواقعمن:

بصرية،إعاقةذوالمصرينمن%6حوالييوجد

سمعيةاعاقةذوالمصرينمنمالين3وحوالي

Page 7: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

األمم المتحدة و ذوي اإلحتياجات الخاصة

حول 2013األمم المتحدة في شهر اكتوبر عقد اجتماع في •

الشاملة وكان من أهمدمج ذوي اإلعاقة في عمليات التنمية

:التوصيات

القدرات الخاصة أعضاء منتجين في مجتمعاتهم ان يكون ذوي •

وبالدهم

ضرورة وجود التزام عالمي جديد إزاء أصحاب اإلعاقة إلشراكهم •

في النشاط االقتصادي بمختلف البلدان

ي فتكنولوجيا المعلومات لذوي اإلحتياجات الخاصة ضرورة إتاحة •

.العالمجميع أنحاء

Page 8: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

UK Case Study • 40% of deaf people could experience mental health

problem at some stages in their lives, compared

with 25% in the hearing community,

• The fact that callers and advisers can see each

other and communicate directly using British Sign

Language allowing a much more good

conversation.

تطبيقات تكنولوجيا المعلومات لذوي اإلحتياجات الخاصة

Page 9: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

تطبيقات تكنولوجيا المعلومات لذوي اإلحتياجات الخاصة

Breathing Space• It is a free, confidential phone and web based

service for deaf people in Scotland experiencing

low mood, depression or anxiety.

• People who are feeling down or depressed will

be able to contact the advisers via web cam and

use British Sign Language to discuss their

concerns in confidence.

Page 10: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

SignVideo• It was established in 2004, providing an instant

access to highly qualified BSL interpreters

through our designated call center.

• It is used at videophone stations in public

places where Deaf people can communicate

with hearing people via a Video Relay Service

تطبيقات تكنولوجيا المعلومات لذوي اإلحتياجات الخاصة

Page 11: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

• Video Relay Service –• Deaf people can make and receive telephone calls in BSL

• Video Remote Interpreting –• Access to a BSL interpreter for last minute or short meetings

• English/BSL Translation –• Translation from written English to BSL and vice versa

• Voice Carry-Over –• Deaf people speaks what they want and then they can receive

responses in BSL.

تطبيقات تكنولوجيا المعلومات لذوي اإلحتياجات الخاصة

SignVideo Services

Page 12: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

• SignVideo basic requirements:

• PC with a webcam

• Microsoft Internet Explorer V7 or V8, Firefox 3

• Bandwidth of 256 kbp/s (upload and download)

• No webcam?

• If you do not have a webcam and internet at home,

we have a SignVideo Access Point at:

تطبيقات تكنولوجيا المعلومات لذوي اإلحتياجات الخاصة

Page 13: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

•SignVideo adoption Examples: • Lloyds TSB is becoming the first British bank

to offer their Deaf customers to contact them

using BSL.

• British Telecommunication company

• Most of city councils at UK

• https://www.facebook.com/video/video.php?v=1

439626423501

تطبيقات تكنولوجيا المعلومات لذوي اإلحتياجات الخاصة

Page 14: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

• To access the service, a deaf customer needs to

• Click on a link on the ‘contact us’ page at the bank’s website.

• Once connected, they can sign to a SignVideointerpreter

• SignVideo will then transmit what is said to the bank’s customer service team.

• http://www.youtube.com/watch?v=p6da1osCt4w&feature=youtu.be

تطبيقات تكنولوجيا المعلومات لذوي اإلحتياجات الخاصة

Page 15: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

ال و شبكات االتص)يستخدم تكنولوجيا المعلومات نظام تطوير

:يهدف الي(,3D-Cameraالحوسبة السحابية و نظارة خاصة

ك والصم من جهة و كذلبين المكفوفين التواصل السلس دعم •

مع الناس الطبيعين من جهة اخريتواصلهم

ن انفسهم المتحدث مع المكفوفين الي المكفوفينقل مشاعر امكانية •

رؤيتنا فى التعامل مع ذوي اإلحتياجات الخاصة

Page 16: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

رحتصميم للنظام المقت

CloudEucalyptus & Amazon EC2

Emotion Detection

Sign language Text

Audio Sign language

Time-of-flight Camera

Audio / Image

Pictures

ImageBlind mode Deaf mode

Seamless communication

Android & iOS

Sign Language and image

K-fra

mes

Audio

Page 17: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

رحتصميم للنظام المقت

CloudEucalyptus & Amazon EC2

Emotion Detection

Sign language Text

Audio Sign language

Time-of-flight Camera

Audio / Image

Pictures

ImageBlind mode Deaf mode

Seamless communication

Android & iOS

Anim

ate

d

Avata

r

Page 18: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

تحديات المشروع

التعامل مع اللغة العربية•توحيد لغة اإلشارة المصرية•

تحسين نتائج التعرف علي لغة اإلشارة•

حماية الخصوصية•

تأكيد الهوية للمستخدم •

Page 19: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

التنمية المستدامة ودور ذوي اإلحتياجات الخاصة

:دمج ذوي اإلحتياجات الخاصة بالمجتمع له بعدين•

كسر الجدار بين أبناء المجتمع الواحد:بعد إجتماعي•

الخاصة مهارات جديدة اكساب ذوي اإلحتياجات : بعد إقتصادي•

تمكنه من العمل وكسب رزقه

Page 20: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

التوصيات

ذويبمتطلباتالمجتمعالفرادتوعيةبرامج•

هذهلتكناألطفالمنبداية الخاصةاإلحتياجات

الصغرزمنثقافتهم

ةاجتماعيعدالةتحقيقشأنةمنقانوناقـتراح•

هحظيأخذلمالجتمعمنلقطاع(مستدامةتنمية)

فيفعالعنصرلجعلهالكافياإلهتماممن

المجتمع

:االتينقترحالمجتمعفيفعالعنصرالخاصةاالحتياجاتذويلجعل

Page 21: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

التوصيات

منتوفرهلماالحديثةاللتقنياتاستخدام•

اإلجتياجاتذويمشاكلمعلتعاملامكانيات

الخاصة

كلفيالمعلوماتوالخدماتكافةربط•

اإلجتياجاتبذويالمعنيةالجهاتوالوزرات

الجهودكللتوحيدالخاصة

Page 22: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

التوصيات

ويونيةالتلفيزالبرامجفياإلشارةللغةالترجمةزيادة•

اليومالجرائدفي

ذويمعالتعاملكيفةعليالمدرسينتدريبوتعليم•

البالطوبينبينهمالتميزوعدمالخاصةاإلجتياجات

العادين

Page 23: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

Authors

Mahmoud ElGayyar, Hany ElYamany, Tarek Gaber, and Aboul Ella Hassanien

Page 24: تطبيق محمول للصم والبكم يحول الاشارات الى صوت Unesco-cairo-13-2-2014

Thanks for your attention

Authors

Mahmoud ElGayyar, Hany ElYamany, Tarek Gaber, and Aboul Ella Hassanien