누구나 BCI를 사용할 수 있을까요? 일반적으로 20%정도의 피실험자가 a typical BCI system을 사용하지 못한다고 합니다. 이러한 사람들을 BCI illiteracy 라고 부른다고 합니다.

 

왜 BCI illiteracy가 생길까요?

여러 이유가 있고 아직 모두 풀리지 않은 문제이겠지만, 다음과 같은 여러가지 이유 + 그 외의 발견되지 않은 문제들 때문일 것입니다.

  1. 사람들은 모두들 뇌의 구조가 비슷하게 위치하고는 있겠지만, 정확히 일치하지는 않습니다. 위가 아파서 병원에 가본 적이 많은데, 환자들 마다 위의 위치가 다르다고 하더군요.. 직립보행을 하다보니 원래 위치보다는 아래로 내려가 있기도 하고 등등의 연유로 말이죠.. 따라서 센서가 EEG 등의 신호를 잘 받아들이지 못하는 경우도 있겠지요
  2. 애초에 EEG등의 신호가 잘 detect가 안되는 사람도 있겠지요. 이런사람들은 non-invasive한 방식을 사용하기가 힘듭니다. 또는 neuron group들이 좀 붙어있어서 각 기능을 담당하는 site들이 잘 구분이 안되는 경우도 있다고 합니다. 약 10%의 피실험자는 이러한 이유로 P300 response가 안나온다고 하네요..
  3. 어떤 피실험자는 control하는 방법을 몰라서 못하는 경우도 있겠지요. 맘속으로 손을 움직이는 것처럼 생각하세요~ 라고 했는데 뭘 어떻게 생각하라는건지… 모를수도 있겠죠? ^^;

 

BCI illiteracy : Event Related Desynchronization(ERD)

ERD는 보통 마음 속으로 움직임(imagined movement)을 생각할 때 발생하는 신호를 detect하는 방법입니다. 다음 Figure 1을 살펴보죠. Figure 1의 (a)는 손을 왼쪽으로 움직인다고 상상했을 때의 ERD spectrogram입니다. 왼쪽 그림은 C3라는 왼쪽 sensorimotor 영역에서 측정한 data이고, 오른쪽 그림은 C4라는 오른쪽 sensorimoter영역에서 측정한 data입니다. 빨간 원을 보시면 확실히 구별가능하게 신호를 쉽게 찾아볼 수 있지요? 이 피실험자는 아무 문제가 없는 BCI literacy 입니다.

Figure 1 BCI literacy : (a) 손을 왼쪽으로 움직여라 라고 생각했을 때의 ERD Spectrogram. (b) 손을 오른쪽으로 움직여라 라고 생각했을 때의 ERD Spectrogram. 좌측의 그림은 C3영역에서의 data, 우측의 그림은 C4영역에서의 data를 나타낸다.

 

그럼 이번에는 BCI illiteracy의 data를 살펴보죠. Figure 2는 BCI illiteracy 피실험자의 spectrogram입니다. Figure 1과는 달리 원안의 data로 왼손을 움직인다고 생각했는지, 오른손을 움직인다고 생각했는지 판단이 불가능합니다. 이런 경우 어떤 signal processing 방법으로도 풀기가 힘들겠죠. 애초에 data가 구분할 수 없게끔 받아들여졌기 때문이죠. Time-frequency간의 관계를 살펴보는 spectrogram이 아닌 다른 tool을 사용한다면 이야기가 달라질 수도 있겠습니다만.. ^^

Figure 2 BCI illiteracy : (a) 손을 왼쪽으로 움직여라 라고 생각했을 때의 ERD Spectrogram. (b) 손을 오른쪽으로 움직여라 라고 생각했을 때의 ERD Spectrogram. 좌측의 그림은 C3영역에서의 data, 우측의 그림은 C4영역에서의 data를 나타낸다.

 

BCI illiteracy : Steady State Visual Evoked Potential (SSVEP)

SSVEP의 경우 반복적인 시각적 자극에 반응하는 뇌파를 이용하는 방법입니다. 다음 Figure 3는 2초간 8Hz 와 13Hz로 LED를 깜빡이면서 피실험자의 O1영역 - primary visual cortex – data를 살펴본 것입니다. 위의 예와 마찬가지로 spectrogram을 tool로 사용하였는데요..

Figure 3 SSVEP BCI를 사용할 때 O1영역의 Spectrogram : 좌상 – 8Hz 입력에 반응(BCI literacy), 우상 – 13Hz 입력에 반응(BCI literacy), 좌하 – 8Hz 입력에 무반응(BCI illiteracy), 우하 – 13Hz 입력에 무반응(BCI illiteracy)

Figure 3의 윗쪽 부분이 BCI를 잘 사용할 수 있는 사람의 spectrogram입니다. 8Hz 입력이 주어졌을 때는 8Hz 신호에 반응하고, 그 뿐아니라, 16, 24, 32Hz의 harmonic 성분까지 측정 가능함을 알 수 있습니다. 13Hz도 마찬가지로 13, 26, 39Hz에서 detect 가능합니다. 하지만 하단 그림의 BCI illiteracy의 경우, 전혀 구분이 불가능합니다.

 

BCI illiteracy : Event Related Potential(ERP)

ERP는 ERD나 SSVEP와는 달리 time-frequency 관계를 나타내는spectrogram을 살펴보지 않고, time analysis를 이용합니다. 이유는 자극(stimuli)가 반복적으로 나타나는 것(oscillate)이 아니라, 한번 반짝!(flash)하고 나타날 때의 반응을 보기 때문이죠. 다음 Figure 4는 ERP 분석에 사용되는 그래프입니다. 각 (a), (b), (c) 그림에는 두개의 신호가 그려져 있는데 주로 윗쪽으로 나타나는 신호가 자극을 주었을 때의 신호, 아래쪽의 신호가 자극이 없을 때 나타나는 신호의 패턴입니다. Figure 4의 (a)를 보시면 자극이 주어졌을 때 P200신호가 발생되는 것을 알 수 있습니다. 하지만 이 구간이 짧아서 실제로 detect하기는 쉽지 않다고 합니다. (b)의 경우 P200, P300신호가 모두 나오면서 상당 기간동안 큰 amplitude를 가지므로 detect하기가 용이합니다. 하지만 (c)의 경우 P200도 P300도 측정이 안되어 detect하기가 곤란합니다.

Figure 4 Flash Stimulit에 대한 ERP 신호: (a)

 

Improving BCI

BCI illiteracy를 없애기 위해서는 알고리즘을 개선하거나, 센서를 더 좋게 만들거나, 혹은 새로운 타입의 센서와 brainwave를 사용하면 되겠지만 말처럼 쉽지 않지요. 그래서 현실적인 방법은 아마도 피실험자가 detect하기 쉬운 brain signal을 generate할 수 있는 자극들을 개발하는 것이겠죠. 아무튼 쉽지 않은 문제 같습니다.

이와 다른 형태의 연구분야로 illiteracy의 prediction 분야가 있다고 합니다. 즉, 실제로 테스트 안해보고 이 피실험자는 BCI illiteracy인지 아닌지 예측하는 것이지요. 테스트의 과정이 번거롭고 힘들기 때문에 잘만되면 좋겠습니다만, 실제로 연구가 많이 진행되고 있지는 않다고 하네요.

 

재미있는 사실 하나!

Figure 2, 3은 같은 피실험자 두명을 대상으로 한 실험이라고 합니다. 그런데 ERD가 잘되던 사람은 SSVEP가 안되었고, SSVEP가 잘된 사람은 ERD가 안되었다고 하네요. 즉, 사람별로 잘되는 BCI방법이 다르다라는 것이지요. 즉, Could Anyone Use a (Universal) BCI? (누구나 사용할 수 있는 BCI가 있느냐?)à No 이지만, Could Anyone Use at least one BCI?(적어도 하나의 BCI는 사용할 수 있냐?) à Probably 가 되겠네요.

 

Reference

[1] D. Tan and A. Nijholt, Brain Computer Interfaces : Applying our minds to human-computer interaction, Springer. – Chapter 3. Could Anyone Use a BCI?

 

+ Recent posts