Метод виявлення ознак основного тону в структурі електроміографічних сигналів для задачі компенсації порушеної комунікативної функції людини
DOI:
https://doi.org/10.20535/RADAP.2020.81.56-64Ключові слова:
комунікативна функція; електроміографічний сигнал; голосовий сигнал; частота основного тонуАнотація
В роботі розроблено метод опрацювання електроміографічних сигналів для задачі компенсації порушеної комунікативної функції людини. Метод дає можливість виявлення ознак основного тону в структурі електроміографічного сигналу, зареєстрованого з поверхні шиї пацієнтів поблизу голосових складок. За цими ознаками можна проводити ідентифікацію окремих подумки вимовлених голосних та приголосних вокалізованих фонем та проводити розпізнавання власне мови пацієнтів із порушеною чи втраченою комунікативною функцією. Розроблений метод включає в себе два етапи, а саме: підготовчий та основний. Метою підготовчого етапу є отримання даних про індивідуальні особливості мови пацієнта, зокрема наближеного значення частоти основного тону та частотного інтервалу існування частоти основного тону при намаганні вимовляння пацієнтом тестових послідовностей звуків у визначені моменти часу. Ці дані є необхідні для можливості застосування основного етапу методу, що передбачає опрацювання електроміографічних (ЕМГ) сигналів, зареєстрованих при довільному намаганні вимовляння пацієнтом довільних звуків, слів чи фраз. Запропоновано для виявлення часових інтервалів наявності ознак основного тону проводити опрацювання електроміографічних сигналів методами спектрально-кореляційного аналізу із застосуванням методу ковзного вікна при поданні таких біосигналів у вигляді кусково-стаціонарного випадкового процесу. При цьому, в межах кожної трансляції ковзного вікна проводиться обчислення оцінок розподілу спектральної густини потужності та усереднення цих оцінок за частотою і потужністю в межах попередньо визначеного інтервалу існування частоти основного тону. Отримані усереднені оцінки дають можливість встановлення часових інтервалів наявності основного тону та відповідно наступної ідентифікації голосних та приголосних вокалізованих фонем. Проведено опрацювання розробленим методом експериментально зареєстрованого ЕМГ сигналу із різними значеннями ширини ковзного вікна.
Посилання
Перелік посилань
Кашкин В. Б. Введение в теорию коммуникации : учеб. пособие / В. Б. Кашкин. - М. : ФЛИНТА, 2013. - 224 с. ISBN 978-5-9765-1424-9
Ремизов А. Н. Медицинская и биологическая физика: учеб. для вузов / А. Н. Ремизов, А. Г. Максина, А. Я. Потапенко. - 4-е изд., перераб. и дополн. - М. : Дрофа, 2003. - 560 с.
Абакумов В. Г. Біомедичні сигнали. Генезис, обробка, моніторинг. / В. Г. Абакумов, О. І. Рибін , Й. Сватош. - Нора-прінт, 2001. - 516 с.
Jia Xueqian, Jinghong Li, and Yuyuan Du. Unvoiced Speech Recognition Based on One-Channel Facial Myoelectric Signal. The Sixth World Congress on Intelligent Control and Automation, 2008, pp. 9362- 9366.
Jorgensen C., Lee D., Agabon S. Sub Auditory Speech Recognition Based on EMG/EPG Signals. Proceedings of the International Joint Conference on Neural Networks, 2003, pp. 3128-3133.
Jou, S.-C., Maier-Hein, L., Schultz, T., Waibel, A.: Articulatory feature classification using surface electromyography. In: Acoustics, Speech and Signal Processing, ICASSP 2006 Proceedings, pp. I–605–I–608 (2006).
Impact of Different Speaking Modes on EMG-based Speech Recognition / Michael Wand, Szu-Chen Stan Jou, Arthur R. Toth, Tanja Schultz // Interspeech 2009, 6-10 September, Brighton UK. - pp. 648-651.
Subvocal Speech Recognition System based on EMG Signals / Yukti Bandi // International Conference on Computer Technology (ICCT 2015); International Journal of Computer Applications, pp. 31-35.
Санников В. Силой мысли // Популярная механика. - 2008. - №6(68). - с.72-75.
Brigham, K.; Vijaya Kumar, B.V.K., "Imagined Speech Classification with EEG Signals for Silent Communication: A Preliminary Investigation into Synthetic Telepathy", June 2010 4th International Conference on Bioinformatics and Biomedical Engineering.
Brigham, K.; Vijaya Kumar, B.V.K., "Subject Identification from Electroencephalogram (EEG) Signals During Imagined Speech", 2010 Fourth IEEE International Conference on Biometrics: Theory, Applications and Systems (BTAS) // September 2010.
Porbadnigk А.; Wester M.; Schultz, T., "EEG-Based Speech Recognition: Impact of Temporal Effects", 2009. 2nd International Conference on Bio-inspired Systems and Signal Processing (Biosignals 2009), Porto, Portugal.
Дозорська О. Ф. Відбір та опрацювання біосигналів для задачі відновлення комунікативної функції мови людини / О. Ф. Дозорська, В. Г. Дозорський, Є. Б. Яворська //Вісник Кременчуцького національного університету імені Михайла Остроградського. – Кременчук: КрНУ, 2017. - Випуск 4(105). - С. 9-14.
Дозорська О. Ф. Застосування нейрохронаксичної теорії фонації для задачі відновлення комунікативної функції мови людини / О. Ф. Дозорська, В. Г. Дозорський, Л. Є. Дедів, І. Ю. Дедів, Є. Б. Яворська // Znanstvena misel. - Slovenia, 2017. - №12. - с. 57-61.
Рауль Юссон. Певческий голос: исследование основных физиологических и акустических явлений певческого голоса. - М.: Музыка, 1974. - 263 с.
Методи оцінювання точності інформаційно-вимірювальних систем діагностики : Монографія / [Н. Б. Марченко, В. В. Нечипорук, О. П. Нечипорук, Ю. В. Пепа]. - К.: НАУ, 2014. - 377 с.
Омельченко А. В. Статистический синтез алгоритмов оценивания периода основного тона речевых сигналов / А. В. Омельченко, А. И. Песняков // Радиоэлектроника и информатика (Кибернетика). - М. : РИ, 1999, № 1. - С. 22-25.
Генерация криптографических ключей на основе голосовых сообщений / Е. А. Сулавко, А. В. Еременко, Р. В. Борисов // Прикладная информатика / Journal of Applied Informatics. - 2016. - №5(65). - С. 78-91.
Рихтер С. Г. Устройства преобразования и обработки информации в системах подвижной радиосвязи. - М.: Московский технический университет связи и информатики, 2006. - 66 с.
Ивченко Г. И., Медведев Ю. И. Введение в математическую статистику. - М. : Издательство ЛКИ, 2010. - 600 c.
item Дозорська О. Ф. Структура системи відбору біосигналів для задачі відновлення комунікативної функції людини / О. Ф. Дозорська, В. Г. Дозорський, Є. Б. Яворська, І. Ю. Дедів, Л. Є. Дедів, І. Ю. Паньків // Вісник Хмельницького національного університету. Технічні науки. - Хмельницький : ХНУ, 2019. - №2(271). - С.183–187.
References
Kashkyn V. B. (2013) Vvedenye v teoryiu kommunykatsyy [Introduction to Communication Theory]. Moskov, FLYNTA, 224 p.
Remizov A. N., Maksina A. G. and Potapenko A. Ya. (2003) Meditsinskaya i biologicheskaya fizika [Medical and biological physics]. Moskov, Drofa, Iss. 4, 560 p.
Abakumov V., Rybin O. and Svatosh I. (2001) Biomedychni syhnaly. Henezys, obrobka, monitorynh [Biomedical signals. Genesis, processing, monitoring]. Nora-print, 516 p.
Jia X., Wang X., Li J. and Du Y. (2006) Unvoiced Speech Recognition Based on One-Channel Facial Myoelectric Signal. 2006 6th World Congress on Intelligent Control and Automation, pp. 9362- 9366. DOI: 10.1109/wcica.2006.1713813
Jorgensen C., Lee D. and Agabon S. (2003) Sub auditory speech recognition based on EMG signals. Proceedings of the International Joint Conference on Neural Networks, 2003., pp. 3128-3133. DOI: 10.1109/ijcnn.2003.1224072
Jou S., Maier-Hein L., Schultz T. and Waibel A. (2006) Articulatory Feature Classification using Surface Electromyography. 2006 IEEE International Conference on Acoustics Speed and Signal Processing Proceedings, pp. I–605–I–608. DOI: 10.1109/icassp.2006.1660093
Wand, Michael, Jou, Szu-Chen Stan, Toth Arthur R., Schultz Tanja (2009) Impact of different speaking modes on EMG-based speech recognition. INTERSPEECH 2009 10th Annual Conference of the International Speech Communication Association, pp. 648-651.
Yukti Bandi. Subvocal Speech Recognition System based on EMG Signals. International Journal of Computer Applications, International Conference on Computer Technology (ICCT 2015), pp. 31-35.
Sannikov V. Siloi mysli [By the power of thought]. Populyarnaya mekhanika, 2008, Vol. 6(68), pp.72-75.
Brigham K. and B. V. K. V. Kumar (2010) Imagined Speech Classification with EEG Signals for Silent Communication: A Preliminary Investigation into Synthetic Telepathy. 2010 4th International Conference on Bioinformatics and Biomedical Engineering, pp. 1-4. DOI: 10.1109/icbbe.2010.5515807
Brigham K. and B. V. K. V. Kumar (2010) Subject identification from electroencephalogram (EEG) signals during imagined speech. 2010 Fourth IEEE International Conference on Biometrics: Theory, Applications and Systems (BTAS), pp. 1-8. DOI: 10.1109/btas.2010.5634515
Porbadnigk A.; Wester M.; Calliess J.; Schultz T. (2009). EEG-BASED SPEECH RECOGNITION - Impact of Temporal Effects. Proceedings of the International Conference on Bio-inspired Systems and Signal Processing, Volume 1: BIOSIGNALS, (BIOSTEC 2009) ISBN 978-989-8111-65-4, pages 376-381. DOI: 10.5220/0001554303760381
Yavorska Ye. B., Dozorska O. F., Dozorskyi V. G. (2017) Selection and processing of biosignals for the task of human communicative function restoring. Transactions оf Kremenchuk Mykhailo Ostrohradskyi national university, Issue 4(105), pp. 9-14.
Yavorska Ye. B., Dozorskyi V. G., Dozorska O. F., Dediv L. Ye., Dediv I. Yu. (2017) Application of the neurochronous phonation theory for the problem of human communicative function restoration. Znanstvena misel journal, Vol. 12, pp. 57-61.
Raul' Yusson. Pevcheskii golos: issledovanie osnovnykh fiziologicheskikh i akusticheskikh yavlenii pevcheskogo golosa [Singing voice: a study of the basic physiological and acoustic phenomena of the singing voice]. Moskov, Muzyka, 1974, 263 p.
Marchenko N. B., Nechyporuk V. V., Nechyporuk O. P., Pepa Yu.V. Metody otsiniuvannia tochnosti informatsiino-vymiriuvalnykh system diahnostyky [The methods for evaluating the accuracy of information- measuring systems of diagnosis] : Monohrafiia. Kyiv, NAU, 2014, 377 p.
Omel'chenko A. V., Pesnyakov A. I. Statisticheskii sintez algoritmov otsenivaniya perioda osnovnogo tona rechevykh signalov [Statistical synthesis of algorithms for estimating the main tone period of speech signals]. Radioelektronika i informatika (Kibernetika), Moskov, 1999, Vol. 1, pp. 22-25.
Sulavko E. A., Eremenko A. V., Borisov R. V. (2016) Cryptographic keys generation based on voice messages. Journal of Applied Informatics, Vol. 11, No. 5(65), pp. 76-89.
Rikhter S. G. Ustroistva preobrazovaniya i obrabotki informatsii v sistemakh podvizhnoi radiosvyazi [Devices for converting and processing information in mobile radio systems]. Moskov, Moskovskii tekhnicheskii universitet svyazi i informatiki, 2006, 66 p.
Ivchenko G. I., Medvedev Yu I. Vvedenie v matematicheskuyu statistiku [Introduction to Mathematical Statistics]. Moskov, LKI, 2010, 600 p.
Dozorska O. F., Dozorskyi V. G., Yavorska Ye. B., Dediv I. Yu., Dediv L. Ye., Pankiv I. Yu. (2019) The structure of biosignals selection system for the task of human communicative function restoring. Herald of Khmelnytskyi national university. Technical sciences, Vol. 2 (271), pp. 183–187. DOI: 10.31891/2307-5732-2019-271-2-183-187
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
1. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у нашому журналі.
2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована нашим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у нашому журналі.
3. Політика журналу дозволяє і заохочує розміщення рукопису роботи авторами в мережі Інтернет (наприклад, на arXiv.org або на особистих веб-сайтах). Причому рукописи статей можуть бути розміщенні у відкритих архівах як до подання рукопису до редакції, так і під час його редакційного опрацювання. Це сприяє виникненню продуктивної наукової дискусії, позитивно позначається на оперативності ознайомлення наукової спільноти з результатами Ваших досліджень і як наслідок на динаміці цитування вже опублікованої у журналі роботи. Детальніше про це: The Effect of Open Access.
