멀티프로세스와 멀티스레드를 자주 사용하게 되었는데, 프로세스/스레드의 개념과 파이썬의 멀티프로세싱/멀티스레딩의 차이를 알아봅니다.

가장 유명한 클래식 ML 모델인 SVM (Support Vector Machine)을 이론을 중심으로 알아봅니다.

최적화에서 사용되는 라그랑주 승수법과 KKT 조건에 대해 알아봅니다.

최적화 문제와 Loss Function

활성화 함수는 딥러닝에서 중요한 역할을 담당합니다. ReLU를 대체할 활성화 함수, Swish를 강화학습을 통해 찾아낸 논문인 Searching for Activation Functions를 간단하게 리뷰합니다.

딥러닝에서 정규화 방법으로 널리 사용되는 Batch Normalization (배치 정규화)에 대해 간단히 살펴봅니다.

PMI (Point Mutual Information)

말뭉치 기반 챗봇은 규칙을 이용하는 대신 인간 간 대화 혹은 인간-기계 간 대화에서의 인간의 반응을 학습한다. 보통 이용되는 말뭉치로는 Twitter, Weibo, 영화 대사 등이 있다. 말뭉치 기반 챗봇 시스템에는 두 타입이 있는데 하나는 정보 검색 기반(information retrieval based)이고 다른 하나는 시퀀스 변환 기반의 지도 학습 시스템이다.

ML에서 자주 사용되는 행렬 미분을 간단히 정리해봅니다.

컴퓨터의 강점은 처리 속도이기 때문에 작은 입력이 주어졌을 때 가능한 경우의 수를 모두 탐색하는 완전 탐색을 유용하게 사용할 수 있습니다. 이 때 재귀 호출을 이용하면 특정 조건을 만족하는 조합을 모두 생성하는 코드를 쉽게 작성할 수 있기 때문에 완전 탐색을 구현하는 데 유용합니다.