Skip to content

chorom-ham/pe-assistant

Folders and files

NameName
Last commit message
Last commit date

Latest commit

34773d8 Β· Dec 8, 2021
Sep 6, 2021
Nov 24, 2021
Nov 24, 2021
Dec 7, 2021
Aug 22, 2021
Aug 22, 2021
Aug 28, 2021
Aug 22, 2021
Sep 14, 2021
Nov 20, 2021
Dec 8, 2021
Nov 20, 2021
Nov 22, 2021
Nov 22, 2021

Repository files navigation

체윑 μˆ˜μ—… 온라인, 체온

λΉ„λŒ€λ©΄ 체윑 μˆ˜μ—… 지원 μ„œλΉ„μŠ€

  • λΉ„λŒ€λ©΄(원격)μœΌλ‘œλ„ μ–‘μ§ˆμ˜ 체윑 μˆ˜μ—…μ„ μ œκ³΅ν•  수 μžˆλ„λ‘ μ§€μ›ν•˜λŠ” μ„œλΉ„μŠ€
  • 포즈 인식 κΈ°μˆ μ„ ν™œμš©ν•΄ ν•™μƒλ“€μ˜ μš΄λ™ λ™μž‘ 인식 및 μ•ˆλ‚΄λ₯Ό ν•΄μ£ΌλŠ” μ„œλΉ„μŠ€
  • 학생듀이 μ„±μ‹€νžˆ μž„ν•˜μ˜€λŠ”μ§€ λ™μž‘ 확인뢀터 μΆœκ²°κΉŒμ§€ 관리 및 성싀도 체크가 κ°€λŠ₯ν•œ μ„œλΉ„μŠ€

Project λ°°κ²½

  • WHO의 μ²­μ†Œλ…„ 신체 ν™œλ™λŸ‰ 쑰사에 μ˜ν•˜λ©΄ ν•œκ΅­ μ²­μ†Œλ…„ 쀑 μš΄λ™ 뢀쑱이 94.2%둜 146개ꡭ 쀑 1μœ„
  • λ””μ§€ν„Έν™”λ‘œ μΈν•œ μ²­μ†Œλ…„ ν™œλ™λŸ‰ λΆ€μ‘± 심화, μš΄λ™λΆ€μ‘±μœΌλ‘œ μΈν•œ κ±΄κ°•μƒνƒœ μ•…ν™”
    (좜처: μ§ˆλ³‘κ΄€λ¦¬μ²­ μ²­μ†Œλ…„κ±΄κ°•ν–‰νƒœμ‘°μ‚¬)
  • μ½”λ‘œλ‚˜ 19 μƒν™©μœΌλ‘œ 인해 이둠 μ„€λͺ… μ˜μƒ μ‹œμ²­ μœ„μ£Όμ˜ 체윑 μˆ˜μ—… 진행, μš΄λ™ λΆ€μ‘± ν˜„μƒ μ•…ν™”
    • 체윑 이둠 μ„€λͺ… μ˜μƒ μ‹œμ²­λ§Œ ν•˜λŠ” 것은 λΆ€μ μ ˆν•¨
    • μ²­μ†Œλ…„κΈ° ν•™μƒλ“€μ˜ 신체 ν™œλ™ μž₯λ € λ°©μ•ˆ ν•„μš”

μ£Όμš” κΈ°λŠ₯

workflow

μ£Όμš” 기술

posenet pipeline

  • On-device λ‚΄ real-time pose estimation이 κ°€λŠ₯ν•œ μ˜€ν”ˆμ†ŒμŠ€μΈ PoseNet을 ν™œμš©ν•΄ 학생이 μ œλŒ€λ‘œ λ™μž‘μ„ μˆ˜ν–‰ν•˜λŠ” 지 νŒλ‹¨ν•¨
  • Webcamμ—μ„œ ν”„λ ˆμž„ λ‹¨μœ„λ‘œ μΆ”μΆœν•œ RGB ν˜•νƒœμ˜ μž…λ ₯을 CNN기반 이미지 인식 λͺ¨λΈμ— λ„£μ–΄ pose keypoints λ“± μ—¬λŸ¬ 좜λ ₯을 λ°›μ•„ ν™œμš©ν•¨
  • μ»΄ν“¨νŒ… μžμ›μ΄ λΆ€μ‘±ν•œ 저사양 ν™˜κ²½μ—μ„œμ˜ 인퍼런슀λ₯Ό μœ„ν•΄ κ²½λŸ‰ λͺ¨λΈμΈ MobileNet을 ν™œμš©ν•¨

mobilenet structure

  • MobileNet의 depthwise separable convolution ꡬ쑰λ₯Ό μ μš©ν•˜μ—¬ 적은 μ—°μ‚°λŸ‰μœΌλ‘œλ„ keypoint estimation을 μˆ˜ν–‰ν•˜λ„λ‘ 함

μ‹€ν–‰ 방법

μš°μ„  λ ˆν¬μ§€ν† λ¦¬μ˜ μ½”λ“œλ₯Ό clone ν•©λ‹ˆλ‹€.

git clone https://github.com/chorom-ham/pe-assistant.git

이후 μ•„λž˜ μ½”λ“œλ₯Ό 톡해, μ‹€ν–‰μ‹œν‚¬ 수 μžˆμŠ΅λ‹ˆλ‹€.

npm install
npm run dev

ν”„λ‘œν† νƒ€μž…


ν”„ν† λ‘œνƒ€μž…μ€ 개발 쀑이며, 고도화 과정에 μžˆμŠ΅λ‹ˆλ‹€.

μ•„λž˜ λ§ν¬μ—μ„œ ν”„λ‘œν† νƒ€μž…μ„ 확일할 수 μžˆμŠ΅λ‹ˆλ‹€.

https://pe-assistant.vercel.app/

prototype prototype2