Input layer 뉴런 개수에 관한 문의드립니다.

[KKang29]

안녕하세요, 먼저 좋은 책을 발간해주셔서 감사합니다.

공부하다 입력층 뉴런개수에 대하여 질문이 들어서 남깁니다. (RNN TextClassification Chapter)
https://github.com/NLP-kr/tensorflow-ml-nlp-tf2/blob/master/4.TEXT_CLASSIFICATION/4.1.6%20RNN%20Classification.ipynb

1. 임베딩의 디멘션은 100으로 설정되어 있습니다.
2. LSTM 층에는 인풋레이어에는 150이 입력 뉴런개수로 설정되어 있습니다.

Q: 인풋레이어의 입력 뉴런 개수는 임베딩 차원(여기서는 100차원) 이하로 설정하여 진행하는 것으로 많은 레퍼런스들을 봤는데 입력층에 임베딩 차원보다 더 크게 설정해도 상관이 없는건가요?

Q: 임베딩 차원은 100, 인풋레이어 입력 뉴런 개수는 150이면 각 뉴런에 들어가는 인풋데이터가 어떻게 들어가는 건가요? 보통 x1, x2, x3, x4 ... x100 이렇게 들어가는데 현재 인풋레이어의 뉴런개수가 150이니까 50개가 비는건가요..?

답변 기다리겠습니다!

[changwookjun]

안녕하세요 . 질문에 대한 답변 드립니다.

    'embedding_dimension': 100,
    'lstm_dimension': 150,
    'dense_dimension': 150,

해당 부분에 대해서 이야기 해주시는 듯 합니다.

Q: 인풋레이어의 입력 뉴런 개수는 임베딩 차원(여기서는 100차원) 이하로 설정하여 진행하는 것으로 많은 레퍼런스들을 봤는데 입력층에 임베딩 차원보다 더 크게 설정해도 상관이 없는건가요? 네 상관이 없습니다. 해당 부분은 고정된 값이 아닌 여러 변화를 줄 수 있는 값이므로 여러 값으로 변경해서 사용해 보시면서 더 좋을 듯 합니다.

**Q: 임베딩 차원은 100, 인풋레이어 입력 뉴런 개수는 150이면 각 뉴런에 들어가는 인풋데이터가 어떻게 들어가는 건가요? 보통 x1, x2, x3, x4 ... x100 이렇게 들어가는데 현재 인풋레이어의 뉴런개수가 150이니까 50개가 비는건가요..? 임베딩 차원의 매트릭스와 lstm 층의 매트릭스 연산을 통해 값들을 만들며 모든 vector값들을 사용하며 뉴런 개수가 비는 그런 형태가 아닙니다.