Projeto desenvolvido durante a Semana Javascript 7.0, evento organizado por Erick Wendel
O projeto consiste em uma aplicação web a onde que é possivel usar a webcam com ML(Machine learning) para identificar os gestos de mão e assim controlar a aplicação. Para que isso seja possivel foi utilizado a biblioteca fingerpose para manipular os dados que chega do tensorflow, que por baixo dos panos utiliza a API tensorflow.js para receber os dados no front-end e que por sua vez ela utiliza por de baixo dos panos a biblioteca mediapipe, sendo que uma abstrai a outra. Com isso, facilitando a integração de ML no front-end sem o uso de back-end para fazer a gestão dele. E para complementar o projeto foi usado workers, injeção de dependência com factories e MVC com a camada service usando js vanilla.
As funcionalidades iniciais fazendo gestos com a mão para mexer na tela é: descer a tela, clicar em algum elemento da tela, piscar os olhos para iniciar o video etc.
- HTML
- CSS
- Javascript
- Fingerpose
- Tensorflow.js
- Mediapipe
- Tensorflow.js
- pseudo-styler
npm i
npm run start
- Tenha uma camera conectada ao pc/notebook e permita o acesso a ela
- clique aqui para V05 versão final
- clique aqui para V04
- clique aqui para V03
- clique aqui para V02
- clique aqui para V01
- Linkedin: https://www.linkedin.com/in/pedro-henrique-vieira-fernandes
- Git: https://github.com/PedrohvFernandes
- Instagram: pedro17fernandes
- portfolio: PedrohvFernandes.github.io