A self-teaching image processing and voice-recognition-based, intelligent and interactive system to...

8
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/241250106 A Self Teaching Image Processing and Voice Recognition Based Intelligent and Interactive System to Educate... Article in Proceedings of SPIE - The International Society for Optical Engineering · February 2010 DOI: 10.1117/12.856291 CITATION 1 READS 64 6 authors, including: Asim Iqbal UZH/ETH Zurich 12 PUBLICATIONS 20 CITATIONS SEE PROFILE Umar Farooq University of Gujrat 51 PUBLICATIONS 54 CITATIONS SEE PROFILE Hassan Mahmood National University of Sciences and Technology 8 PUBLICATIONS 3 CITATIONS SEE PROFILE Usman Asad University of the Punjab 48 PUBLICATIONS 37 CITATIONS SEE PROFILE All content following this page was uploaded by Asim Iqbal on 01 January 2015. The user has requested enhancement of the downloaded file.

Transcript of A self-teaching image processing and voice-recognition-based, intelligent and interactive system to...

Seediscussions,stats,andauthorprofilesforthispublicationat:https://www.researchgate.net/publication/241250106

ASelfTeachingImageProcessingandVoiceRecognitionBasedIntelligentandInteractiveSystemtoEducate...

ArticleinProceedingsofSPIE-TheInternationalSocietyforOpticalEngineering·February2010

DOI:10.1117/12.856291

CITATION

1

READS

64

6authors,including:

AsimIqbal

UZH/ETHZurich

12PUBLICATIONS20CITATIONS

SEEPROFILE

UmarFarooq

UniversityofGujrat

51PUBLICATIONS54CITATIONS

SEEPROFILE

HassanMahmood

NationalUniversityofSciencesandTechnology

8PUBLICATIONS3CITATIONS

SEEPROFILE

UsmanAsad

UniversityofthePunjab

48PUBLICATIONS37CITATIONS

SEEPROFILE

AllcontentfollowingthispagewasuploadedbyAsimIqbalon01January2015.

Theuserhasrequestedenhancementofthedownloadedfile.

�����

A Self Teaching Image Processing and Voice Recognition Based Intelligent and Interactive System to Educate Visually Impaired

Children ��������

� ����������

� ������������

� ����������������� ���������� �

������������� ��!�

�"#$� �#� ����%�#& ��&��%�'��##���' ����(#��� )����*�#�+��, �-���#.���/0 �+��� ��

��

ABSTRACT ���#��� #&���'���'#�$��&#����'����(��&#��#&�'�� �����#���)� #������#(#��$#�� ��#��& #�(�����)���$��#��&�����#� �&��#��)���� �#���$����)�#��& ���1�2)� #��&��$���#������&��$� #� ��(������&�#� ���#���$#�#��������&��$���#1�3�#� � &�#��4� �� �#�&��$� #���)� #��������� #����� �#�&#����'��$$��� #� 5��� �#��#����#���'�#6� �� �#��#������4��&�� �#� ���� ��� $�&#�1� 2�$�#� ��'#�� ��� (��&#�� ��� �#� ����� ��� ��� ��& ����� ��� &������� ��� %�'���� � ������$�# � � 7��#��&� "�'� � � 8$#� ���� ��� 2�$#�� �#� ��#�)� � ��#�� ��� �#� � �#1� �� ����� &����� ���� � �#��� �#�#����#��&��& #��5�,#& 6�4� �� �#��#�$�������'#��� ����#��$#��� �#���4#� ���#���� �#�&��& #� ���$#�# &��� �� �#���&��$���#1�9� �� �#�(��&#�&���������������&������#&#�(#��)� �#���&��$���# ���'#���� �#��)� �#�&�#��4��&�����$��&#��#��)���*-�:®�$��'����#(#��$#��4� �� �#��#�$������'#��&����� ���������'#�$��&#����'� ����;����'#�#� #�� � �#�$���#� ��� �#����#�� �# � ��� ��� ��& ����� �� &����� (�� #�� �$#�#� � �#��� ��'� ��� �#��� #��& ���� ��� � (�����)���$��#�� &����1� 2$##&�� �#&�'�� ���� $��'��� ��� ���� �#(#��$#�� ��� ��*-�:®� 4� �� �#� �#�$� ��� " � �&����� ���� ���2�'���+��&#����'� ����;�4��&���#&��������$��&#��� �#�&��������� �#������&����1�

Keyword list—��'#�+��&#����' �+����)�%��& ��� �2#���*#&���' �2$##&��<#&�'�� ��� �=�����)���$��#��3�����#��

1. INTRODUCTION ����'� � �#� ��� � $�#&����� '�� �� ���� ����� #��'�� '�(#�� )� �#� � ��#� ��� �#��� ��� )� �� �## � �#&�'���#� ��� #�,�)�#(#�) ���'������� �#����� �#�4����1�"�#� �����#���������#������������$�����#�����$#�$�#���� ����4����������� � �#���(������#��#1�*�#)���(#���� �#�����4����1�8�#���� �#���� ���$�� � ��#�$������� �#�� � �&��#�4� �� �#��(�&#�#� ���� #&�����')���� ���#�$���$��#��$#�$�#����������)��)��#�1�%��& ������� �#�$����)������&��#&#��� )����#(#�)�&����1�*��#��& #�&�����#��4����#�(�����)���$��#���������$�� � �����#�4��&����� ��#� �#�����&�����#� ���1�����00� ����#� ����!����������$#�$�#�'����)�4#�#�(�����)���$��#����#� ��#)#����#�#� ����������������4���������4�(����������>���������4#�#�����1�� ��������##��#� �� #�� � � �#�#��#��1���������������&�����#����� �#�4���� ��������������4������(#������������00 000��������&�?�@1�*�#�$�#(�#�&#���'#�������01�A�000�&�����#��'#��0–���)#����������#� �&��� ��#�� ���1�A�000�&�����#�� ���(#�)�$����&������ �#�1��� ���'�� �#����#����������&�����#�� ��� �#� �(#�)� ��4 � �#)��(#� � ���# ��#� ��� �����#��� �#� � 4� �� �� #� �� #�� >�� �������� ����.)#��� 5���#�� ����� ×� �#�' �� ��� ���#61� ��� �����#��#(#��$#��&��� �)� ���#�+��� �����#�����(�����)���$��#��$#�$�#�#�$#&���)�&�����#���#���'����&� 1�*�#�#� �����##�� ���#(#��$������ ����&#���#��� #&���'��)� #����� �#�$����)��#(#����� �#�&��� �)1�*�����)� #��&���#�$� �#������&����� ��� �#����'� �#� �����#� �� #��& ���� ������A�#�� �&����� ��� � ���#1�������� &����� �� ��'���� �#� &���� �#��� �#�#����#��&��& #��5%�'���� �������$�# � �7��#��&���'� � �8$#� �������2�$#�6���� �#�����$�&#������#���4� �� �#��#�$�������'#�� � ����#�&�# #������'#���� �#�&��& #������������������#���#�4� ����4�� #����� �#�$'#�����#�$����������4#����� �#���������(��&#1���� �#�&����������#4���#������#���#���� ����#�� ��� �#��,#& �������� ����#����$�)��$#���‘9��*’���� �#���&��$���#1�9� �� �#�(��&#�&����� �(��&#��#&�'���#���#&�'���#� �#�(��&#���� �#���#���1#1�&��������&������� �#�&�#�� �� �#� �#���$��� ���� �#�$'#����#; �& ����$�� � ������� ���������� ������#��)��#�$���� �#���#��(��#���$#�#�� �#��#��� ��'��# ����'���#���#�������� ��& ����1��������#��4���4� �� �� �#������4�� #� ������#���#(�� ���� �#� �#�$����� �#� ���$�#� ��#� ����� ��� �#� ���� 4� �� ��4#��� ��� �#� ����� ��� �$�# � � 4����� ��� ���� ����5���#��&�&�&�� ���6���� �#���������(��&#1�2)� #������� #���'#� �#���'�� ��&�#&�� �#���4#�����'�(#� �#��##�&�� �� �#���#�������&���#& ��������&���#& ���4#�1���� �#������� ����#; �& #������� �#� ��'#����������� ��4� ������&����������4#�#�� ��� �#�&�����#&��#�� ���#� � ����� ��4#�� ��� &���#& � �#��� ��'� ��� �#��� #��& ������� ������&����1�*�#���&���&����'������ �#��)� #��������4�������'1��1�

��

��'��#��1�2)� #��:��&��"�'��

��

���

2. RELATED WORK ��$��,#& ���#��*����'�"� ��4���#(#��$#�����"#$� �#� ����:���#��&��%�'��##���' ����(#��� )����7�� ��3����������00�1�*����'�"� ��4���#(#��$#������ 4������#�'� #��'�����4� ���#(#�#�=�1�*�#��,#& �(#����*����'�"� ����� ���#(#��$���#�#& ����&�:����#� �����'��#(�&#� � � ��$��(#�����#;�� ��'����#���)��6�$��(����'�#;&� ��'�������##�&������6��#��&��'� �#��##������&��� � ���� ��& �����$#�(�����1�*�#���;�$���� ������� �#��)� #��&���#�$���� �� �#���;��� ������:����#�&#��1�*�#�$���� ����#'������ �#��#�# �� # �4�#�#� �#)��#�$�#��#����4�1�9�#�� �#���#��$�#��#������#�#�#�� �#� $���� ��� � �#)� $�$� �$� �AB� ��&�� ��� � � �#)� �#� ���#�� ���#� � :����#� �� 1� *�� ��#� �#� �#(�&# � �#� � ��#� ������ �#����)�$�#��#���&���� ������� �#���;�� ���� � �&���#�$����� ���:����#�&��& #�1�*�#��#(�&#��# #����#�� �#��#� #���# #�����$�)��&�� �#�&���#�$�����'�$�#�#&���#���#��'#1�����#;�$�# ���� �#�&����'�� �������� �#��# #��3� 5�� �� ��#� ��� ����6� ��� $�#��#� � �#�� �#��#��'#� �)� � “3 � & �C�#�4D1”� ?�@1� *�#� &��&�� � ��'������ �#� �)� #�� ������4�������'1��1��

+�3�!�B>> ��2"�00�

:����#�$����� ��� ��&��$��&#���� <#&���A+�)&��

"#(�&# ��������$����#� 2$#�#�

��

��'��#��1��3��&�� �"�'������*����'�"� ��

3. SYSTEM OPERATION *���#�$������&�����#�����$����)��&������#(#�� �#���&�&����#���#�%�'���� �������$�# ������ �#� �&�1������������� �#�&��$�����)�&����#����+��� ��#��& �����)� #�1��<#&�'�� ����������#������&��& #���5%�'������������6�������#1�+��&#����'���� �#���'#� �#���������#�����&��& #��������'� ������#�&��#��#��41���'#��&����� ����?�@������'#�+��&#����'�?�@� ����;#�������*-�:®��(#�##����#�� ���#(#��$� �#���� 4�#1��

3.1 Image analysis *�#���#��#;$�� ���������'#�$��&#����'��# ��#�����#�&��#��#��4�4�#�#�� �#����4�&�� �������4�������'��#��1�*�#�$��&#����'����#����%�'�����&��& #��5:6 ������&�� (پ#��5 &���� �#� �&��"�'� � 5�6� ������4�������'1�� ������!��#�$#& �(#�)1���

3.1.1 Image acquisition ��'#��&����� ����*����;������*-�:®������#�� ��&����#���'#��#���&�#� �)������ �#�&�#�1�*���� ����;�$��(��#���(��# )����&��(#��#� ����& ����� ��&����#���'#��&&�����'� �� �#��#����#�#� �1���

3.1.2 Image processing���'#� +��&#����'� *����;� ��� ��*-�:®� ��� ��#�� �� �#&�'���#� �#� �$�# �� ��� ���#��� ����� �#� ��'#1� *�#�$��&#����'� #&�����#�����#�&��#��#��4E���

3.1.2.1 Conversion to grayscale *�#���'#�&����#������� �#���'#�&����� ����������<F:����� �4��&�������.���#���������'#1�� ������ ��(� '#���� ��$��&#���� �����.���#����������� ��� �#��,��� )������*-�:®����& ������#��4� ���.���#���������'#�1�2��<F:���'#����&��(#� #�� ��'�)�&�#�4��&�������.���#���������'#1���

��

��������������������������������������������������������� ���'��#��1����'#�+��&#����'����4�3�� ��

3.1.2.2 Conversion to binary�*�#�'�)��&�#���'#����&��(#� #���� �����)����� ��1#1�4�� #�����&�1�:���)���'#������.���#���������'#1�� �������)� 4��(��#���1#1�0�����1�‘0’��#$�#�#� ���&�����‘�’��#$�#�#� ��4�� #1�7�4� �#�&��(#� #����'#������� �#����������’�����0’�1������������������������������������������������������������������������������������'�5; �)6�G�*�?�ƒ5; �)6�@�������������������������������������������������������������������������5�6�

����������������������������������������������������������������4�#�# ����������������������������������������������������������������������������������������*5�6�G�����≥��

���������������������������������������������������G�0���C���

3.1.2.3 Refining the image :���)���'#�����#���#��)�4�#�$#��56����& ����4��&���#��(#�����������)���'#����&���#& #��&��$��#� ��5�,#& �6� � ��(#��#4#�� ���+�$�;#��1����� �) � �������& �������$$��#����� �#����'�������)���'#� ������ �#���(#� #�����)���'#1�"� ����� ��)��,#& ���#��#��(#������� �#���'#�)� �������& ���1���� �#������� #�56����& �������$$��#����� �#����)���'#� ����#��,#& �����#�������'#1��,���$��$��#� ��$$�)� �������& ������� ��&����#�$�#&#��������,#& �4��&�����&$ ��#��������#������1��

�� ����

��

���������������������������������������� �� ����'��#��1����'#�$��&#����'����&��& #��5:6�

��� �

�������������������������������������������� ��

��'��#��1����'#�+��&#����'����3�� (پ#��5 &�

3.1.2.4 Clipping the image�*�#�&��(#� #�����)���'#����&��$$#�� ��'# � �#��#���� �#���'#�4��&�������#���� ����1�*�#�&��$$#����'#�&�� �������)� � �$� �4��&��������# ���'�4�� #������ 1�*������� �#�$� ���� �#���'#�4��&������� #��#�� ��#�$��&#��#��������#�� ���#&�'���#� �#��,#& 1���

3.1.2.5 Labeling the characters�-#���'����& ���������*-�:®������#�� ����#� ��)� �#����#������,#& ��5&��& #��6���� �#���'#1�*�������& ����'�(#�� �#����#�� ��#&���,#& �4� �� �#��� ��,#& �'# ��'� �#���'�#� ����#�1�*�����#�$�� ��$��&#��� �#���'#��� �#� � �����#�����&��& #������ �#���'#� ��#�$��&#��#���#����4������(�&#1���

��������������������������������������� � ��

��'��#�!1����'#�+��&#����'����3��& #��5�6�

3.1.2.6 Character recognition and information via ear speaker ������#�� ���#&�'���#� �#�&��& #�� �&�����&���#� �������& �������#�$��)#��?>@1��

��

������������������������������������������������������������������������������������������������������7��������������������������������������������������ƒ5; �)6�о���5; �)6�G���A���7�5��∑����∑�ƒ5� ��6���5;�K� �)�K�66��������������������������������������������5�6�

������������������������������������������������������������������������������������������������G0��G0�������������������������������*�#� &���#� ���� ��� $#�����#�� 4� �� �#� ��$�#� ��'#�� $�#�#� � ��� �#� � �#� ��� �#� �#��� � ��� �(#�� ���� ��� �#����$�#�#� ���1�=��&#����� &��& #��� �#���#�)� � ��#�� ���� �#���� �#)��#�$����&#��� #�� &��& #�� �#&�'�� ���������#���$#�#�1���

3.2 Speech recognition�2$##&�� �#&�'�� ���� �'��� ��� ��� ���� �#(#��$#�� �����*-�:®1�" ��&����� ���� ���2�'��� +��&#����'� ����;#�� �����*-�:®��(#�##����#�� ���#(#��$� �#���� 4�#1��

3.2.1 Data acquisition " ��&����� ����*����;�?�@������*-�:®������#�� ��&����#�(��&#�� �#���&�#� �)������ �#���&��$���#1�*���� ����;�$��(��#���(��# )����&��(#��#� ����& ����� ��&����#�� �&&�����'� �� �#��#����#�#� ��#1'1� ��''#��(��# ���$�#�� #�# &1�*�#����� �� #$���� ���#�� �#�#�#& ��&����'��� � ����&��(#� #������� �#��#&���#�����������#�4��&��4���#&���#���������&��$���#� ����'� �#� ���& ��� 4(#�#�� 561� :)� ����'� ���� ����;� ���#�� ��� (��&#�� ��� �#&���#�� � B�$�� ��� �#�����$�#�(��#���#� �#�1�2�$�#�(��#�����(��&#�“�$$�#”��#����4�������'1�>1��

3.2.2 Signal processing 2�'���+��&#����'� ����;�?!@������*-�:®������#������$��&#����'� �#�(��&#�&������1�2��� .*��#������#��*�������������#��#&��#� �#�#��#��# ��#�� ��� �#������(��&#� � ��#$�#�#� ��$#&���&��$#& ��� ��������#(#�)��$��#��4��� � � � �����(��#�� �� �� ���� . ��#� �#'�#� �� 5���#�6� � � ��� �#$�#�#� #�� ��� �#� ��#� '�$�� )� �$�� ��#� ��� ��#� ��� �#� ��'��1��2*�*� �#$�#�#� � � ��� � ��� &��$�����#� # 4##�� �#� ��#� ��� ��#��#�&).�#�� (�#4�� ��� � ��'��1� � � $��(��#�� ���#������� ������ �� ��4�#����� �4� ���#��#�&�#�����'���#(#� ��&&��������# #����#�����#����� �#� ��#�4����41��

�3.2.2.1 DTW

")���&� ��#�4�$��'�������'��� ��������#�����'�������� )�# 4##�� 4���#��#�&#��4��&���)�(�)���� ��#�����$##�1�*�#��#&�'�� ����$��&#���&����� ������ &���'� �#���&����'��$##&��4� �� �#�� ��#�� #�$� #1���� �#���$�#���� �#���4#� ���� �&#� �#��� ���� �#��#&�'���#��4���1���

����������������������������������������������������������������� �

��'��#�>1��“�$$�#”�=��&#�2$#& ����

3.2.2.2 Characteristics of speech *�#��#; �� #$���� ��� ��)� �#�2$##&��&��& #��� �&����� �#��$#�#�� � ����������)��������������#�#�&#�����#�#�') � ��# ���#��#�&)����$� &�1�

3.2.2.3 Sample matching ��� �#���#����#�#� ���� �����#� �#�#� �� &���'���$�#����� ���� �#���# �4��&����� �#���4#� ���� �&#�$ ����'���'� �#���$� �$ #��� �� �#� #�$� #1�*�#�&��$�# #��'��� ���������4�&�� �������4�������'��#�B1��

4. OVERVIEW OF MAIN FEATURES *�#���&� ��� ����$�#�#� ���� �����)� #����� ����#�� ���#�)�����������&�������$�����#1�“9����”����“+���#�”��#���#�)�� ��#����� �#�� �#�4��&������# ��#(#����� �#��#����#���� � ���1�2)� #���� ����)��#��� #&�#��������&������ �� ������#(#��$����#�(�����#� � ���� &����� �� �#� � ��$#������ #� 1�+�#���#����� �#� �)� #�� ���'���#��)� �# ����'���#���#��4��&���#�� ��#����� �#���������$���#�1�����#;�$�# � �#�$'#��$#�#��)� �#������&��������4�� #��5�.�$$�#6����� 1���� �#� &����� ��#�� �� � ���#�� ��� �#�4�� #��4����� ��� &��& #��� ��� �#�$'#� ��� �#� �$#��� “9��*”���� �)� � �#�� $�#�� ��#���&����������������'�'#���� �#���&��$���#1�2)� #��#(#� ���)� #���� �#������&�����5�.�$$�#6�)�#���$#�#�1�

��

2������) � 4�#�� �#� ����� &����� �$#��� �#� ��� ���� 5K6 � �� �& ���� 5.6� # &� &�$ #��� ��� � �#� �&�� �#& ���� ��� �#� ���'���#��)��# ����$���#����&�������$����5K6�� ��)� �“���� ���.�� ��#��� ����� 4�����#��”1����� � �#���#��#;$�� �������&��& #�� �� �#� �&���$#� �������'#��# ��&����$#���#���#�)�� ��#����� �#�� �#� ��'���#� �#�&����1�

�5. CONCLUSION

��'#� $��&#����'� ��� (��&#� �#&�'�� ���� �#�� �� #���'#� � ��� �� #�& �(#� �#�� �)� #�� ��� �#(#��$#�� �� �#�$� (�����)���$��#�� &�����#�� ��� �#��� #��& ���1� *�#� �����#� �� $��$��#� #����� &�# ��'� ���� $$��& ���� ��� �� �# � �#� (�����)���$��#��&�����#��#����#$#��#� ����#��)�� �#��� ��#� �����#������#��� �#���&����#�4�����������#���) �#�)� ����#�#�(�����#� 1� *�#� �)� #�� ��� ��&&#������)� 4�����'� ��� 4#� �#� ������'� ���4��� �� $$�)� ���� �)� #�� ��� $�& �&#� )�&����� ��'�4� ��+��� ��F�(#���#� ���� � ������&�����#��&��#�#�#�� #�� ����'��� � �#�&��� �)1��

6. FUTURE WORK ��� �#��#���&#�#� ��&��#����#� ����$��(#� �#����� )�����# ��#����� �#��)� #�1�*�#�4�������#� ������4������&��#�����$����)��#(#�������� ��#� �1������ ��# ��������4����&��#�� ����#����� �#���������$��$#��#���&#�#� ��&&�����'� ��&�#��&�&����#�����2#&����)��&���� �3���#'#�������(#��� )� �#(#�� � ��#� �� �� ��$��(#� �#�#��& ����#�#� ���������� ��#� ��#�$#&���)����&����& ��'�#;�������#��� �����'1�

���������������������������������������������������������� ���'��#1�B�2$##&��<#&�'�� �������4�3�� �

7. REFERENCES

?�@ 9������#� ��8�'��� ���1�+�#(#� ��'������#������&�����#�1�<#$�� �����9�8A��+:��&�#� ���&��## ��'1�F#�#( ��0001�59�8A+:-A001>>61�

?�@ 72���00��%�'��##���'�2#�����"#��'��+��,#& �� ������+#������4� ��"����� �#�1�?�����#@�

��

��������(���#E�� $EAA4441�#1��&1#��AL��'A�#�"#��'�A�#$�� �A�00�A ����'�� �1� ��?�@ ��'#��&����� ����*����; ���*-�:®��?�@ ��'#�+��&#����'�*����; ���*-�:®��?�@ " ��&����� ����*����; ���*-�:®�?!@ 2�'���+��&#����'�*����; ���*-�:®�?>@ <�##��31�F����#��M�<�&����%1�9���� �"�'� ����'��'�+��&#����' �+#�����%��& ����+���#�������+�������' �

�00�1�

�� �1������N'���1&��O�$���#�K/�����0��0B0�