금융, 정부 웹사이트등에 널리 쓰이는 보안 프로그램인 가상키보드(vKeypad)를 우회합니다
미리 각 키별 이미지를 저장해두고, 저장한 이미지와의 유사도를 분석하는 방식으로 가상키보드를 우회합니다.
키 배열이 무작위로 바뀌는 경우에도 인식이 가능합니다
vkeypad-studio는 각 키별 이미지와, 키보드상 이미지 좌표 추출을 도와주는 도구입니다.
편안한 레이아웃 추출을 위해 figma에서 그린 각 레이어의 위치를 분석해 이미지와, 좌표값을 저장해줍니다.
- 가상키보드 이미지를 준비합니다
- Figma에서 가상 키보드 이미지를 업로드 합니다
- Figma에서 사각형으로 가상 키보드 각각의 키를 덮어줍니다
- Figma에서 svg 파일로 Export 합니다
- 터미널에서
vkeypad-studio [이미지 파일] [svg 파일]을 입력합니다 - 새로 뜬 창에서, 이미지에 해당되는 키보드 키를 눌러줍니다
- assets 폴더 속 사진들과, data.json을 보관 합니다.
이 라이브러리에선 aseets속 사진들과, data.json를 이용해 이미지 비교도를 분석하여 어떤 키인지 확인합니다.
pip install fuckvkeypad
import cv2
from fuckvkeypad import get_keymap
img = cv2.imread("test_assets/vKeypad.png")
keymap = get_keymap(
img=img, asset_path="test_assets/", data_path="test_assets/data.json", threshold=100
)
print(keymap)- img: cv2로 읽은 데이터
- asset_path: assets 폴더 경로
- data_path: data.json의 경로
- threshold: 이미지 일치도 가중치
결과값: 바운딩 박스의 좌표와 키코드를 순서대로 출력합니다
[
{"box": [0, 0, 55, 55], "key_code": 49},
{"box": [58, 0, 113, 55], "key_code": 50},
{"box": [116, 0, 171, 55], "key_code": 51},
{"box": [0, 58, 55, 113], "key_code": 52},
{"box": [58, 58, 113, 113], "key_code": 53},
{"box": [116, 58, 171, 113], "key_code": 54},
{"box": [0, 116, 55, 171], "key_code": 55},
{"box": [58, 116, 113, 171], "key_code": 56},
{"box": [116, 116, 171, 171], "key_code": 57},
{"box": [58, 174, 113, 229], "key_code": 48},
]Selenium에서 좌표를 이용한 Click 혹은, tag를 이용한 Click이 가능합니다.
이 라이브러리는simple_bank_korea에서 영감을 받아 제작하였습니다