Skip to content

Projeto feito no evento semana JS expert ao lado do @ErickWendel. Usando somente JS e ML(machine learning) para usar os olhos e os gestos das mãos ao lado do front-end sem o uso do back-end.

Notifications You must be signed in to change notification settings

PedrohvFernandes/semana-Javascript-7.0-ml-tensorflow

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

19 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Semana-Javascript-7.0

Projeto desenvolvido durante a Semana Javascript 7.0, evento organizado por Erick Wendel

Sobre o projeto

O projeto consiste em uma aplicação web a onde que é possivel usar a webcam com ML(Machine learning) para identificar os gestos de mão e assim controlar a aplicação. Para que isso seja possivel foi utilizado a biblioteca fingerpose para manipular os dados que chega do tensorflow, que por baixo dos panos utiliza a API tensorflow.js para receber os dados no front-end e que por sua vez ela utiliza por de baixo dos panos a biblioteca mediapipe, sendo que uma abstrai a outra. Com isso, facilitando a integração de ML no front-end sem o uso de back-end para fazer a gestão dele. E para complementar o projeto foi usado workers, injeção de dependência com factories e MVC com a camada service usando js vanilla.

As funcionalidades iniciais fazendo gestos com a mão para mexer na tela é: descer a tela, clicar em algum elemento da tela, piscar os olhos para iniciar o video etc.

Certificado:

Tecnologias utilizadas

  • HTML
  • CSS
  • Javascript
  • Fingerpose
    • Tensorflow.js
      • Mediapipe
  • pseudo-styler

Como executar o projeto

  • npm i
  • npm run start
  • Tenha uma camera conectada ao pc/notebook e permita o acesso a ela

Para testar o projeto final:

👨‍💻 Autor:

About

Projeto feito no evento semana JS expert ao lado do @ErickWendel. Usando somente JS e ML(machine learning) para usar os olhos e os gestos das mãos ao lado do front-end sem o uso do back-end.

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published