IoT와 인공지능을 활용한 헬스케어 애플리케이션

Period: 2021.03 ~ 2022.07

Tool: Arduino, Google’s TensorFlow Lite, Coral, Flutter, Python, Figma, Rive

업무파트너: SW Factory, 크로스플랫폼 솔루션 개발 및 기술자문

개발동기: 코로나19 장기화로 인해 건강, 홈트레이닝에 대한 관심이 갈수록 증가하고 있다. 그러나 동기부여와 재미 요소의 부재로 운동을 지속적으로 하는 것과 피드백의 부재로 잘못된 자세로 운동을 하여 어려움을 겪고 있습니다.

내용: IoT와 애플리케이션을 이용한 다양한 기기와 연동이 가능하며, 프레임워크들을 활용한 게임 및 운동적 요소와 멀티/대전모드를 제공할 수 있습니다. 운동을 지속적으로 재미있게 할 수 있도록 동기부여요소와 지속성을 강화하는 솔루션을 애플리케이션 형태로 제안하였습니다. 추가적으로, 애플리케이션뿐만 아니라 웨어러블 IoT 장비, 설치형 IoT 장비 등을 함께 제공하여 사용자의 움직임을 인식하고 올바른 자세로 할 수 있도록 유도하였습니다. 다음으로, Google의 Coral은 컴퓨터의 CPU와 같은 기능을 하는 IoT장비로써, 카메라 센서를 이용한 다 수의 인체 관절 데이터 정보를 스마트폰보다 빠르고 효율적으로 받기 위해 사용하였습니다. 위 설계를 바탕으로 받아온 데이터를 이용하여 국내 사용자에 대하여 운동에 대한 흥미를 유발시킬 수 있는 모션게임 및 멀티플레이를 제공하였고, 사용자의 맞춤형 운동 루틴을 제공하였습니다. 또한 사용자의 근육량 감소, 칼로리 소모량 등의 데이터를 관찰할 수 있는 기능 또한 추가하였습니다.

프로젝트에서 나의 역할

Data Cleansing: Microcontroller의 센서 값(가속도/자이로)을 TensorFlow 및 Colab에서 사용하기 위해 data cleansing 진행 및 Flutter를 사용하여 제작한 Application에 맞도록 Camera Sensor를 통해 받은 User Gesture 정보를 Index로 conversion 진행하였습니다.

Implement: Google의 Database인 Firebase를 활용하여 user data 저장 기능 구현 및 Google AI Coral의 Json file을 변환하여 RIVE 캐릭터 애니메이션에 적용시킬 때 이러한 data를 서버로부터 받아 변환할 수 있는 기능 구현, 그리고 Wifi를 통해 Coral에 부착된 카메라 센서에서 받은 user의 관절 data를 conversion하여 이를 통해 만들어진 Json file을 Flutter에 전송하는 기능을 구현하였습니다.

최종 산출물: 애플리케이션을 플레이스트어에 런칭을 완료하였으며, 총 3번에 걸친 유저 테스트 및 pivoting을 완료하였습니다. 그리고 딥러닝 기반의 포즈 인식 기술을 활용하여 유저의 모션 및 관절을 인식하도록 개발하였고, Arduino컨트롤러를 활용하여 유저의 Gesture가 트레이닝 된 모션을 인식하고 블루투스를 통하여 애플리케이션과의 데이터를 주고 받을 수 있도록 개발을 완료하며 개발자들과 디자이너의 협업을 통하여 개발 및 테스트를 모두 완료하였습니다.

느낀점: 전자와 컴퓨터공학 분야는 빠르게 기술이 발전하고 이에 맞추어 나아가야하는 상황이 앞으로도 많이 있을 것인데 그 환경에 적응할 수 있는 능력을 기를 수 있는 프로젝트로 느껴졌습니다. 해결되지 않는 문제들도 많이 있었지만 팀원들과 함께 문제들을 해결함으로 인하여 정말 수많은 성취감을 느낄 수 있었습니다. 아직 하나하나의 문제해결 과정이 기억날만큼 인상깊게 남아있습니다. 또한 교수님의 피드백을 통하여 교수님의 관점에서 생각해볼 수 있었고, 유저테스트를 통하여 저희 기술을 통하여 만들어낸 결과물에 대한 피드백 반영하여 프로젝트의 결과물을 더욱 보완할 수 있었습니다. 고객과 전문가들의 상호 보완적 관계에 대하여 더욱 현실성 있게 느낄 수 있는 기회였습니다. 마지막으로, 프로젝트를 진행하면서 팀원들과 많은 감정적인 문제들이 있었지만, 그 문제를 해결함으로써, 인간 관계에 대한 공부를 할 수 있는 뜻 깊은 프로젝트였습니다.

IoT
Arduino
TensorFlow
Python
Flutter
SW Factory
Coral

포항 고등학교 R&E 프로젝트

2021.04 ~ 2021.08

포항 고등학교 학생들과 한동대학교의 교수님과 함께 포항고등학교 R&E프로젝트를 진행하였습니다. 이 프로젝트는 고등학생들을 대상으로 google의 IoT장비인 micro:bit를 이용하여 사회공헌할 수 있는 작품을 만드는 것을 목표로 세우고 학생들을 지도하는 경험을 할 수 있었습니다. 코딩에 대하여 많은 경험이 없는 학생들을 대상으로 코딩에 대한 재미를 덧붙일 수 있도록 도울 수 있는 경험을 가질 수 있도록 하였으며, 기본적인 코딩 자료와 코딩에 대한 이해를 도울 수 있도록 지도를 하였습니다. 또한 학생들이 사회에 공헌할 수 있는 아이디어에 대한 생각을 하는데 열린 생각을 할 수 있도록 돕는 활동을 진행하였습니다. 그 결과 여름학기가 끝날무렵 학생들은 경진대회에 참여를 하였고, 그 경진대회에서는 대상이라는 좋은 결과를 얻을 수 있도록 한 정말 뿌듯한 자원봉사였습니다.

2022.04 ~ 2022.07

2021년에 진행한 포항고등학교 R&E 프로젝트를 진행하는 중입니다. 위 프로젝트는 포항고등학교측에서 좋은 결과가 있었기 때문에 한번 더 프로젝트의 TA로 일을 해달라고 하여 진행하고 있는 중입니다. 현재 학생들에게 기본적인 코딩과 코딩적인 사고력을 키울 수 있도록 도움을 주는 중이며, 추후에 이 프로젝트를 통하여 고등학생들이 경진대회에서 좋은 성과를 얻을 수 있도록 도와주는 엑셀러레이터의 역할을 하고 있는 중입니다.

R&E
Micro:bit
Arduino

스마트폰 센서를 활용한 게임

프로젝트 기간: 2020.12 ~ 2021.01

스마트폰의 가속도 x, y, z축 센서와 자이로 x, y, z 축의 값을 활용하여 가볍게 다른 사람들과 경쟁을 하며 즐길 수 있는 콘텐츠를 개발해보았습니다. 당시에 한동대학교 내에서 해커톤 방식의 캠프인 Design Sprint Camp의 기간에 만들어낸 결과로 처음으로 개발을 하면서 타 개발자들과의 협업을 진행하였습니다. 전자 공학과 기본 베이스를 가진 저는 센서의 값을 이용하여 비행기 그래픽과 비행기에서 날라가는 총이 다른 물체와 맞게되면 점수를 올리는 것을 구현을 완성하였고, 다른 팀원은 UI/UX 구성과 애플리케이션을 만드는 작업을 진행하였습니다. 위 해커톤 기간에 짧은 기간 내에 결과물을 만들 수 있다는 것을 많이 깨달을 수 있었고 더욱 연구하여 헬스케어 애플리케이션을 만들어봐도 좋겠다는 마음 가짐을 가지게 되었습니다.

가속도센서
자이로센서
개발자들간의 협업

Google microcontroller challenge

2021.10.19

Google dev 공식 인스타그램

Google에서 전 세계 개발자들을 대상으로 주최한 “TensorFlow Lite for Microcontrollers Challenge”에서 국내 유일 Winner로 선정이 되었습니다. 위 대회에서는 총 5팀의 개발자들이 Winner로 수상하였습니다. 구글 AI 챌린지는 구글 머신러닝 프레임워크 텐서플로와 사물인터넷 (IoT) 장비를 직접 기획한 프로젝트를 출품하는 방식으로 진행되었습니다.

출품작으로는 다양한 인체 동작을 학습시킨 IoT장비를 이용하여 코로나 시대에 필요한 비대면 홈트레이닝용 운동 게임과 재활을 이용한 게임을 구현하였습니다. . 만드는 당시의 프레임워크로는 구글의 "Flutter" 앱 개발 툴을 이용하였습니다.

Google
Microcontroller
IoT device

Design Sprint

2021.07

포항공대와 한동대학교에서 주최한 Design Sprint 대회에서 팀 단위로 다양한 주제로 개발한 것들에 대하여 발표를 하고 수상을 하는 대회를 진행하였습니다. 당시에 저희 팀은 사람의 관절을 이용한 Gesture를 이용하여 즉각적으로 반응하여 간단한 게임을 만드는 애플리케이션에 대하여 개발을 하였고, 좋은 성과인 최우수상을 수상하게 되었습니다.

포항공과대학교
한동대학교
해커톤

아이디어 경진대회 최우수상 수상

2021.11.12

건국대학교 SW중심대학사업단에서 주최한 “2021 전국대학생 아이디어 경진대회”에서 개발에 관련하여 수익성을 가지는 모델을 개발하는 대회를 진행하였습니다. 경진대회에서는 애플리케이션을 이용하여 수익구조를 가지며 유저들이 운동을 도울 수 있는 플렛폼에 대한 아이디어를 제시하였습니다. 위 아이디어를 통하여 최우수상이라는 좋은 결과를 얻을 수 있었습니다.

건국대학교
SW중심대학교
아이디어 공모전