인공지능 개발일지

안녕하세요. 이번 포스팅에서는 대표적인 Sequence data 처리 모델인 RNN과 Gate RNN(LSTM, GRU), Seq2Seq에 대해 알아보겠습니다. (Gate RNN은 RNN에 게이트(입력, 망각, 출력)를 추가한 것이고 대표적으로는 LSTM, GRU가 있다) 우선 각 모델의 RNN(Recurrent Neural Network)과 LSTM(Long Short-Term Memory)은 순환 신경망의 두 가지 주요 형태로, 시퀀스 데이터를 처리하는 데 널리 사용됩니다. 각각의 특징과 차이점을 살펴보겠습니다. RNN: 매 시점마다 이전 단계의 hidden state를 사용하여 다음 hidden state를 생성. Gate RNN (1997): 시간이 지날수록 이전 정보를 잃어버리는 RNN의 장기 ..

안녕하세요. Open-Access 가능한 대표적인 AI 논문 학회지 위주로 모아 보았습니다. Top-Tier Conference Accepted 논문 볼 수 있는 곳 Google-Scholar(통합 검색): https://scholar.google.co.kr/schhp?hl=ko NeurlPS: https://papers.nips.cc/ AAAI: https://aaai.org/aaai-publications/aaai-conference-proceedings/ Track1: Cognitive Modeling & Cognitive Systems Track2: Computer Vision II Track3: Computer Vision III Track4: Constraint Satisfaction and ..

안녕하세요~ 이번 시간에는 범주형 칼럼에 대해서 카테고리별로 그룹화하고 그룹별로 DataFrame을 반환하는 방법에 대해알아 보겠습니다. 이 groupby() 함수도 기능이 많긴 하던데 저는 제목에 나온 대로 그룹화하는 방법과 그룹 객체를 생성하는 방법에 대해서만 정리해 보았습니다. 실제로 제일 많이 사용되기도 하고요. 왜 때문인진 모르겠는데 제가 이 작업을 할 때 아무 생각 없이 아래와 같이 비효율적으로 했었습니다. 근데 하다 보니 귀찮아서 그룹화에는 뭔가 이 sort 해주는 기능이 있을 것 같았는데 찾아보니 역시 있더군요..^^ # 사용가능한 노선만 철도별로 분리 notUse_train1=notUse_train[notUse_train['노선명']=='경강선'] notUse_train2=notUse_t..

안녕하세요. 이번 시간에는 스파크와 하둡의 차이에 대해 알아봅시다. 요즘 드는 생각이 머신러닝이 이런 거고 딥러닝이 이런 것이란 건 알겠는데 이게 실제 서비스단에서 배포가 되고 사용될 때는 파이프라인이 어떤 방식으로 구축되고 실시간으로 들어온 데이터는 구체적으로 어떻게 처리가 되지 하는 의문점이 있었다. 이에 찾아보니 분산처리를 이용해 실시간 데이터를 처리하는 프레임워크가 크게 Apache Spark와 Hadoop이 있었다. 그래서 이에 대해 간단히 알아보자. 하둡은 슈퍼 컴퓨터 없이 서버를 여러대 연결해 빅데이터 분석을 가능하게 했다. 그러나 여러 단점이 있어 이를 보완해 나온것이 아파치 스파크이다. 하둡과 비슷하게 분산처리를 하지만 이에 비해 메모리를 효율적으로 빠르게 처리한다. 우선 하둡은 아래와 ..