이 프로젝트는 HUSKYLENS 2 AI vision sensor, 해당 현미경 camera module, 그리고 UNIHIKER K10을 결합하여 양파 표피 세포와 같은 미세 대상을 식별합니다. HUSKYLENS 2는 현미경 이미지를 캡처하고 custom object-detection model을 로컬에서 실행합니다. 검출 결과는 I2C를 통해 K10으로 전송되며, K10은 즉각적인 피드백을 표시합니다.
동일한 workflow는 교실에서의 세포 관찰, 물 샘플의 미생물 검사 또는 종자 발아의 예비 선별에도 적용할 수 있습니다. 인식하려는 정확한 샘플과 조건을 대표하는 이미지로 모델을 학습해야 한다는 점은 동일합니다.
workflow는 다음과 같습니다:
시작하기 전에 프로젝트 demonstration video를 시청하세요.
소스 프로젝트는 전자 장치와 AI workflow를 보여 줍니다. 완성 프로젝트 사진에 보이는 기계식 디스플레이 베이스의 제작 방법은 문서화되어 있지 않으므로, 필요한 경우 직접 안정적인 현미경 스탠드나 샘플 홀더를 사용하세요.
이 Instructable은 Creative Commons Attribution 4.0 license에 따라 auroraAA의 DFRobot Maker Community 프로젝트를 바탕으로 수정되었습니다.
Mind+ V2.0 이상을 다운로드하여 설치한 다음,
애플리케이션을 엽니다.
여기에 제시된 model-training 및 HUSKYLENS 2 deployment workflow에는
Mind+ V2.0 이상이 필요합니다. HUSKYLENS 2용으로 학습된 모델을 변환할 때는 컴퓨터가
인터넷에 연결된 상태를 유지하세요.
작동하는 데모로 가장 빠르게 진행하려면 Supplies 섹션에서
준비된 모델과 프로그램을 다운로드한 후
5단계로 계속 진행하세요. 자신의 세포 카테고리에 맞는 모델을 학습하려면
2단계로 계속 진행하세요.
다음 카메라 기능을 HUSKYLENS 2에서 엽니다.
현미경 카메라 아래에 샘플을 놓고 버튼
A 를 눌러 사진을 촬영합니다.
모델이 감지하도록 하려는 각 세포 범주에 대한 이미지를 수집합니다.
원본 프로젝트에서는 범주당 최소 50장의 이미지를 권장하며,
범주당 약 100장을 수집하는 것이 좋습니다. 샘플의
위치, 방향, 보이는 영역을 다양하게 하여 모델이
한 가지 시점만 학습하지 않도록 합니다.
USB 데이터 케이블로 HUSKYLENS 2를 컴퓨터에 연결합니다.
HUSKYLENS 드라이브에서 photo 폴더를 엽니다.
촬영한 이미지를 이름이Dataset인 로컬 폴더에 복사합니다.
Mind+에서 Model > Object Detection을 연 다음,
다음을 선택합니다: Upload.
이미지에 적합한 가져오기 유형을 선택합니다. 새로 캡처한 이미지에는
unannotated 옵션을 사용하고, 데이터셋에 일치하는 주석이 이미 포함된 경우에만 YOLO 옵션을 사용합니다
.
다음 Dataset 폴더에서 이미지를 선택합니다.
업로드를 시작하고 모든 이미지가 데이터셋
작업 공간에 나타날 때까지 기다립니다.
각 세포 범주에 대한 레이블을 만든 다음
모든 이미지에서 각 대상 세포 주위에 바운딩 박스를 그립니다. 클래스 이름은 일관되게 유지하고
전체 데이터셋에서 사용합니다. 모든
대상에 주석을 추가한 후에만 객체 감지 모델을 학습합니다.
Mind+의 주석 추가 및 학습
인터페이스에 대한 자세한 안내는 DFRobot의 Object
Detection-Based Self Checkout System 가이드에서 모델 학습 부분을 참조하세요. 예시 객체는
다르지만 데이터 주석 추가 및 객체 감지 학습
워크플로는 원래 세포 식별
프로젝트에서 참조한 것과 동일합니다.
학습이 완료되면 다음을 클릭합니다: Deploy to
HuskyLens2.
애플리케이션 이름과 표시 제목을 입력합니다. 원본 워크플로에서는
현재 이 필드에 영어 문자와
숫자만 입력할 수 있다고 설명합니다.
변환을 시작합니다. Mind+가 모델을 업로드하고 클라우드에서 변환하므로
페이지를 열어 두고 컴퓨터를 온라인 상태로 유지합니다.
변환이 완료되면 다음을 클릭합니다: Download to Local
Computer. 다운로드한 ZIP 파일은 변경하지 마세요. 설치 중에
HUSKYLENS 2는 원래 패키지 이름과 내용을 사용하기 때문입니다.
.
HUSKYLENS 2를 컴퓨터에 연결합니다. HuskyLens라는 이름의 드라이브가HuskyLens 나타나야 합니다.
다운로드한 모델 ZIP 파일을 다음 위치에 복사합니다:
\storage\installation_packageZIP 파일의 이름을 변경하지 마세요. 이름을 변경하면 HUSKYLENS 2가 모델을
인식하거나 설치하지 못할 수 있습니다.
HUSKYLENS 2에서 애플리케이션을 차례로 넘겨 보며 Model
Installation을 엽니다.
다음을 선택합니다: Local Installation을 선택하고, 복사한
패키지를 선택한 후 설치가 완료될 때까지 기다립니다.
새 모드인 cell 이름의 모드가 준비된
모델이 설치되면 나타납니다.
HUSKYLENS 2에서 System Settings > Protocol
Type 을 열고 I2C를 선택합니다. 설정이 저장되면 메인
인터페이스로 돌아갑니다.
그림과 같이 PH2.0 4핀 케이블로 HUSKYLENS 2를 K10에 연결합니다.
USB 케이블을 사용하여 K10과 HUSKYLENS 2를 컴퓨터 또는
적합한 USB 전원에 연결합니다.
프로그램을 실행하기 전에 모든 연결을 완료합니다. 이후 K10이
결과를 받지 못하면 I2C 설정, 케이블 방향 및
물리적 연결을 다시 확인합니다.
Mind+를 열고 코딩을 선택한 다음 업로드
모드 를 선택하여 새 프로젝트를 만듭니다.
다음 항목을 엽니다: 확장 기능.
다음 보드 탭으로 전환하고,K10을 검색한 후 추가합니다: UNIHIKER K10.
같은 방법으로 HUSKYLENS 2 AI
카메라를 추가합니다.
다음 뒤로 를 클릭하여 프로그래밍
인터페이스로 돌아갑니다.
USB 데이터 케이블로 K10을 컴퓨터에 연결하고 Mind+에서
장치 연결 을 클릭합니다.
검색된 UNIHIKER K10을 선택합니다.
Mind+에서 연결에 성공했다는 메시지가 표시된 후에만 계속합니다.
아래에 표시된 블록 프로그램을 다시 만드세요. 이 프로그램은 HUSKYLENS
2 연결과 K10 디스플레이를 초기화하고, 사용자 지정 모델의 감지
결과를 읽은 다음 새 셀이
감지되었는지에 따라 화면 피드백을 변경합니다.
프로그램의 Model ID 를
HUSKYLENS 2에 설치된 모델에 표시된 번호로 설정하세요. 예시 스크린샷에서는 ID129, 모델에 따라 다른 번호를 사용할 수도 있습니다.
프로그램은 다음 네 가지 주요 부분으로 구성됩니다.
로직을 재현할 때 분석 이미지의 블록 그룹을 참고하여
사용하세요.
제공된 프로젝트
압축 파일을 사용하면 블록을 수동으로 다시 만들 필요가 없습니다. 압축을 푼 program-cell-identification.zip뒤 Mind+에서
the Project 메뉴를 열고 Load
Project을 선택하세요.
추출한 폴더에서 Program-cell identification.mpcode 다음 파일을
선택하세요.
해당 파일의 Model ID가 사용 중인
HUSKYLENS 2에 설치된 모델의 Model ID와 일치하는지 확인하세요. Upload 을 클릭하고 프로그램이
K10으로 전송될 때까지 기다리세요.
HUSKYLENS 2에서 설치된 cell 모드를 열고, 준비된 샘플 위에 현미경 카메라를 배치한 다음
K10 프로그램을 실행하세요.
HUSKYLENS 2는 일치하는 세포에 감지 상자를 표시해야 합니다. 새
세포가 감지되면 K10에 녹색 확인 화면이 표시됩니다.
결과가 시연 내용과 일치하지 않는 경우:
cell 모드가 없습니다: 다음을 확인하세요:\storage\installation_package이름이 변경되지 않았으며원문: https://www.instructables.com/Build-an-AI-Microscope-for-Cell-Detection-With-HUS/
https://www.instructables.com/Build-an-AI-Microscope-for-Cell-Detectio…