머리를 돌리기만 해도 커서를 이동하고, 눈 깜박임으로 클릭하며, 간단한 턱 쥐기로 명령을 실행할 수 있기를 바란 적이 있나요?
이 프로젝트에서는 Neuro-PlayGround Lite (NPG Lite)를 사용하여 핸즈프리 인간-컴퓨터 인터페이스(HCI) 마우스를 만듭니다. 헤드 트래킹, 눈 신호, 근육 신호를 결합하여 컴퓨터를 마우스를 전혀 터치하지 않고도 제어할 수 있습니다.
이 설정은 다음을 사용합니다:
- IMU 모션 센싱을 통한 커서 이동
- EOG 신호를 통한 깜박임 및 클릭 동작
- EMG 신호를 통한 턱 쥐기 명령
결과적으로 직관적이고 실용적이며 사용하기 재미있는 무선 블루투스 기반 제어 시스템이 만들어집니다.
STEP 1. 준비물
하드웨어
- 1 × Neuro PlayGround Lite
- 1 × VibZ Playmate
- 1 × MPU6050 또는 BMI270 IMU 센서 (QWIIC 버전)
- 3 × BioAmp 스냅 케이블
- 3 × 젤 전극
- 1 × 알코올 솜
- 1 × 헤드밴드
- 1 × USB Type-C 케이블
- 1 × 블루투스가 있는 노트북 또는 데스크탑 컴퓨터
소프트웨어
- Arduino IDE
- ESP32 보드 패키지 (버전 3.2.0)
- Adafruit NeoPixel 라이브러리
- MPU6050 라이브러리 또는 SparkFun BMI270 라이브러리
- ESP32 BLE 콤보 라이브러리 (수정된 버전)
- NPG Lite 마우스 펌웨어
- 블루투스 지원 Windows, Linux 또는 macOS PC
STEP 2. 어떻게 작동하나요?
이 프로젝트는 두 가지 유형의 입력을 결합합니다:
1. 머리 움직임 추적
우리는 다음과 같은 IMU (관성 측정 장치)를 사용합니다:
- MPU6050
- BMI270
IMU는 다음을 포함합니다:
- 기울기와 움직임을 측정하는 3축 가속도계
- X, Y, Z 방향의 회전을 측정하는 3축 자이로스코프
IMU를 NPG Lite와 함께 헤드밴드에 장착함으로써, 시스템은 머리 방향을 추적하고 이를 부드러운 커서 움직임으로 변환할 수 있습니다.
2. 생체전위 기반 마우스 클릭
물리적 마우스 버튼 대신, 우리는 자연적인 신체 신호를 사용합니다:
- 턱을 꽉 물기 → 왼쪽 클릭
- 더블 블링크 → 클릭 및 드래그
- 트리플 블링크 → 오른쪽 클릭
턱을 꽉 물면 EMG 신호가 생성되고, 깜박임은 EOG 신호를 생성합니다.
이러한 입력은 함께 완전한 핸즈프리 마우스 경험을 만듭니다.
STEP 3. 피부 준비
- 알코올 솜으로 표면을 깨끗이 닦으세요.
이것은 기름과 죽은 피부를 제거하여 신호 품질을 향상시킵니다.
STEP 4. 전극 배치
젤 전극을 사용한 EEG 측정:
- BioAmp 케이블을 젤 전극에 연결합니다.
- 전극의 플라스틱 뒷면을 벗깁니다.
- A0P에 연결된 케이블을 Fp1과 Fp2 위치 사이에 놓습니다.
- A0N에 연결된 케이블을 한쪽 귀의 귓불 뒤에 있는 뼈 부분에 놓습니다.
- REF를 다른 쪽 귀의 귓불 뒤에 있는 뼈 부분에 놓습니다.
STEP 5. BioAmp 케이블 연결하기
피부 준비가 완료되면, BioAmp Snap Cables를 연결할 시간입니다.
다음에 3개의 BioAmp Snap Cables를 연결하세요
- 채널 1의 양극을 A0P에 연결
- 채널 1의 음극을 A0N에 연결
- 참조 케이블을 REF에 연결
STEP 6. MPU6050 연결하기
스냅 케이블이 연결되면, VibZ 플레이메이트의 QwiCC 포트를 사용하여 MPU6050을 NPG lite에 연결하세요.
STEP 7. 코드 복사
- NPG Lite 전원 켜기
- ON/OFF ON/OFF 스위치를 사용하여 보드를 켭니다.
- USB Type-C 케이블 USB Type-C 케이블을 사용하여 컴퓨터에 연결합니다.
- 펌웨어 다운로드
- GitHub에서 NPG Lite Arduino Firmware 리포지토리를 엽니다.
- 모션 센서에 맞는 펌웨어를 선택합니다:
- MPU6050: NPG-Mouse-MPU6050
- BMI270: NPG-Mouse-BMI270
- 스케치 복사
- 새 Arduino 스케치 만들기
- Arduino IDE Arduino IDE를 실행합니다.
- 새 새 스케치를 만듭니다.
- 복사한 코드를 편집기에 붙여넣습니다.
STEP 8. Espressif Systems에서 제공하는 Esp32 설치.
- ESP32 보드 패키지 설치
- 보드 관리자를 엽니다.
- Espressif Systems의 esp32를 검색합니다.
- 버전 3.2.0을 설치합니다.
- 중요: 호환성 문제를 일으킬 수 있으므로 새로운 버전을 사용하지 마십시오.
STEP 9. 필수 라이브러리 설치(아다프루트 네오픽셀)
- 필요한 라이브러리 설치
- 다음 라이브러리를 라이브러리 관리자를 사용하여 설치하세요:
- Adafruit NeoPixel
- MPU6050 라이브러리 (MPU6050 센서를 사용하는 경우)
- SparkFun BMI270 Arduino Library (BMI270 센서를 사용하는 경우)
STEP 10. ESP32 BLE 콤보 라이브러리 설치
- ESP32 BLE Combo 라이브러리 설치
- ESP32 BLE Combo GitHub 저장소를 엽니다.
- Code → Download ZIP를 클릭합니다.
- Arduino IDE에서 다음으로 이동합니다:
- Sketch → Include Library → Add .ZIP Library
- 다운로드한 ZIP 파일을 선택하고 설치합니다.
STEP 11. 코드 업로드
- 올바른 보드를 선택하세요
- 다음으로 이동하세요:
- 도구 → 보드 → ESP32 Arduino
- ESP32C6 Dev Module을 선택하세요.
- 펌웨어 업로드
- 올바른 보드와 COM 포트가 선택되었는지 확인하세요.
- 업로드 버튼을 클릭하세요.
- 업로드가 성공적으로 완료될 때까지 기다리세요.
- 무선으로 전환
- USB Type-C 케이블을 분리하세요.
- 이제 NPG Lite가 HCI 마우스 펌웨어를 실행 중이며 Bluetooth를 통해 무선으로 연결할 준비가 되었습니다.
STEP 12. 헤드셋을 착용하세요.
NPG Lite를 헤드밴드(또는 선호하는 장착 위치)에 삽입하세요.
IMU가 머리에 단단히 부착되도록 편안하게 착용하세요.
장치를 켭니다.
STEP 13. 블루투스 마우스 연결하기
컴퓨터의 블루투스 설정을 엽니다.
선택하세요:
블루투스 장치 추가
선택:
연결이 성공하면:
- 보드가 잠깐 진동합니다
- 연결 LED가 녹색으로 변합니다
무선 마우스가 이제 연결되었습니다.
STEP 14. 교정
연결 후 자동으로 보정이 시작됩니다.
VibZ Playmate는 보정 중 진동 피드백을 제공합니다.
다음 동작을 따르세요:
첫 번째 진동
머리를 위로 기울입니다.
진동이 멈출 때까지 그 자세를 유지합니다.
중립 위치로 돌아갑니다.
두 번째 진동
머리를 왼쪽으로 기울입니다.
진동이 멈출 때까지 유지합니다.
중립으로 돌아갑니다.
마지막 짧은 진동은 보정이 완료되었음을 나타냅니다.
이제 커서는 머리 움직임을 정확하게 따라야 합니다.
STEP 15. 컴퓨터 제어하기
이제 마우스를 터치하지 않고도 PC를 조작할 수 있습니다.
커서 이동
머리를 움직이세요.
왼쪽 클릭
턱을 꽉 물어보세요.
클릭 및 드래그
더블 블링크.
오른쪽 클릭
트리플 블링크.
각 제스처를 몇 번 연습하여 자연스럽게 느껴질 때까지 반복하세요.
STEP 16. 최종 결과
블루투스 HCI 마우스를 만들었으니, 다음과 같은 흥미로운 프로젝트를 탐색할 수 있습니다:
- 핸즈프리 게임
- 접근성 인터페이스
- 스마트 홈 제어
- 로봇 제어
- 인간-컴퓨터 상호작용 연구
- 뇌-컴퓨터 인터페이스 실험
또한 펌웨어를 수정하여 자신만의 제스처와 동작을 할당할 수 있습니다.
원문: https://www.instructables.com/Create-a-Hands-Free-Computer-Mouse-With-Your-Eyes-/
https://www.instructables.com/Create-a-Hands-Free-Computer-Mouse-With-…