📱보이스피싱 탐지 어플리케이션 | SSGcam

🔊 소개

스윽캠(SSGcam)은 실시간 보이스피싱 탐지 어플리케이션입니다. 실제 통화 내용을 실시간으로 분석하여 보이스피싱 및 딥보이스 탐지 기능을 제공합니다. AI를 활용하여 의심스러운 패턴을 식별하고 사용자에게 경고합니다. 자연어 처리(NLP) 기술과 딥러닝 모델을 사용하여 높은 정확도의 탐지 기능을 구현했습니다.

💬 목차

1. 💡 개요
2. ✅ 주요 기능
   • 회원가입 및 로그인
   • 보이스피싱 탐지 및 알람
   • 딥보이스 탐지 및 알람
   • 탐지 기록 다시 듣기
   • 챗봇
   • 전화번호 검색
3. ⏯️ 실제 시연 영상
4. 💻 기술 스택
5. ⚙️ 아키텍처
   • 시스템 아키텍처
   • 인포메이션 아키텍처
6. 🦾 모델
   • 보이스피싱 탐지
   • 딥보이스 탐지
7. 👥👥 팀원

1 ) 💡 개요

• 프로젝트 이름: 보이스피싱 탐지 어플리케이션 | SSGcam
• 프로젝트 기간: 2024.03 ~ 2024.06

(본 프로젝트는 2024-1 세종대학교 캡스톤 디자인(산학 협력 프로젝트)에 기반을 두었습니다.)

스윽캠은 매년 늘어나는 보이스피싱과 고도화되는 보이스피싱 수법에 대응하기 위해 만들어졌으며, AI 기술을 활용하여 실시간 보이스피싱 및 딥보이스 탐지 기능을 제공합니다. 사용자는 스윽캠을 통해 다양한 보이스피싱으로부터 보호받을 수 있습니다.

2 ) ✅ 주요 기능

🔐 회원가입 및 로그인

• 회원가입: 사용자는 아이디와 비밀번호를 통해 계정을 생성할 수 있습니다. 이때, 보호자 연락처를 입력받아 추후 보호자 알림에 사용합니다.
• 로그인: 생성된 계정을 통해 어플리케이션에 로그인할 수 있습니다.
• 권한 허용: 어플리케이션 사용에 필요한 마이크와 알림 등의 권한을 허용합니다.

🚨 보이스피싱 탐지 및 알람

실제 전화 통화 중 상대방의 최초 4문장을 받아 Speech To Text를 사용하여 텍스트로 변환 후, AI 서버에 넘겨 확률을 계산합니다. 이후, 보이스피싱이라고 판단하면 화면에 알림(배너, 소리, 진동)을 띄웁니다.

🚨 딥보이스 탐지 및 알람

실세 전화 통화 중 최초 10초를 기준으로 wav파일로 녹음하여 AI 서버에 넘겨 확률을 계산합니다. 이후, 딥보이스라고 판단하면 화면에 알림(배너, 소리, 진동)을 띄웁니다.

🎧 탐지 기록 다시 듣기

보이스피싱으로 탐지한 기록은 자동으로 어플리케이션의 탐지 기록 화면에 저장되어 언제든지 다시 확인할 수 있습니다. 전체 통화 내용 음성을 다시 들을 수 있고, 피해 사례를 등록할 수 있습니다. (피해 사례 등록 시, 다른 사람이 검색할 수 있습니다.)

💭 챗봇

사용자가 원하는 정보를 보다 빠르게 제공하기 위해, 공통 질문을 미리 만들어 제공하였습니다.

• 보이스피싱 대처 방안
• 계좌 지급 정지 신청 방법
• 명의 도용 휴대전화 개설 조회
• 피해금 환급 신청 방법

과 같은 질문이 이에 해당합니다. 이외 궁금한 내용은 챗봇에게 직접 타이핑하여 질문하여 답변 받을 수 있도록 하였습니다.

🔎 전화번호 검색

모르는 전화번호로 전화가 올 때, 스윽캠에서 빠르게 전화번호를 검색할 수 있습니다. 전화번호에 해당하는 검색 결과(보이스피싱 유형)을 반환하고 만약 검색 결과가 없다면, 경찰청 홈페이지로 연결하여 추가 검색을 할 수 있도록 하였습니다.

3 ) ⏯️ 실제 시연 영상

🔐 회원가입 및 로그인	🚨 실제 전화 시연	📞 착신 전환
💭 챗봇	🔎 전화번호 검색	🎧 탐지 기록

4 ) 💻 기술 스택

프론트

서버

DB

AI

5 ) ⚙️ 아키텍처

시스템 아키텍처

인포메이션 아키텍처

6 ) 🦾 모델

📌 보이스피싱 탐지

🗒️ 데이터

보이스피싱 데이터 : 금융감독원 '그놈 목소리' + '바로 이 목소리'

일반 데이터 : AI Hub 민원(콜센터) 질의-응답 데이터

🦾 모델링

Process 1) 보이스피싱 유무 탐지

Process 2) 보이스피싱 유형 탐지

📌 딥보이스 탐지

🗒️ 데이터

딥보이스 데이터 : AI Hub 다화자 음성 합성 데이터

일반 보이스 데이터 : AI Hub 자유 대화 음성 데이터

🦾 모델링

7 ) 👥👥 팀원

김강민	김민정	소유진	이빈
🦾 AI	📂 데이터베이스 ⚙️ 백엔드	📱 프론트엔드 ⚙️ 백엔드	📱 프론트엔드 ⚙️ 백엔드