인공지능 개발일지

안녕하세요~ 이번 시간에는 범주형 칼럼에 대해서 카테고리별로 그룹화하고 그룹별로 DataFrame을 반환하는 방법에 대해알아 보겠습니다. 이 groupby() 함수도 기능이 많긴 하던데 저는 제목에 나온 대로 그룹화하는 방법과 그룹 객체를 생성하는 방법에 대해서만 정리해 보았습니다. 실제로 제일 많이 사용되기도 하고요. 왜 때문인진 모르겠는데 제가 이 작업을 할 때 아무 생각 없이 아래와 같이 비효율적으로 했었습니다. 근데 하다 보니 귀찮아서 그룹화에는 뭔가 이 sort 해주는 기능이 있을 것 같았는데 찾아보니 역시 있더군요..^^ # 사용가능한 노선만 철도별로 분리 notUse_train1=notUse_train[notUse_train['노선명']=='경강선'] notUse_train2=notUse_t..

안녕하세요. 이번 시간에는 스파크와 하둡의 차이에 대해 알아봅시다. 요즘 드는 생각이 머신러닝이 이런 거고 딥러닝이 이런 것이란 건 알겠는데 이게 실제 서비스단에서 배포가 되고 사용될 때는 파이프라인이 어떤 방식으로 구축되고 실시간으로 들어온 데이터는 구체적으로 어떻게 처리가 되지 하는 의문점이 있었다. 이에 찾아보니 분산처리를 이용해 실시간 데이터를 처리하는 프레임워크가 크게 Apache Spark와 Hadoop이 있었다. 그래서 이에 대해 간단히 알아보자. 하둡은 슈퍼 컴퓨터 없이 서버를 여러대 연결해 빅데이터 분석을 가능하게 했다. 그러나 여러 단점이 있어 이를 보완해 나온것이 아파치 스파크이다. 하둡과 비슷하게 분산처리를 하지만 이에 비해 메모리를 효율적으로 빠르게 처리한다. 우선 하둡은 아래와 ..

안녕하세요. 이번 시간에는 임베딩의 간단한 개념과 Word2Vec를 사용해서 단어 임베딩과단어 간의 유사도 구하기를 실습해봅시다.(개인적으로 자연어 처리가 너무 재밌고 신기한 것 같아요)   0. 논문의 Word2Vec와 라이브러리 Word2Vec의 차이점우선 들어가기에 앞서 Word2Vec에 대해 먼저 말씀드리면 Word2Vec는 원래 자연어 처리에서 유명한 논문 중 하나로 문장을 벡터로 표현하는 방법 중 하나입니다. 그래서 이 논문을 보면 Word2Vec는 원래 문장을 입력값으로 받아서 그 문장에서 단어의 위치로부터 의미와 유사도를 좌표축상에 나타내고 이를 기반으로 단어를 임베딩하고 단어 간의 거리를 통해 유사도를 구할 수 있습니다. 그래서 이의 특성으로는 문장이 입력값으로 들어갈 때 좋은 성능이 나..

안녕하세요. 이번 시간에는 K-Fold/Stratified K-Fold를 이용해서 교차 검증과 데이터를 분리하는 방법 그리고 GridSearch CV를 이용해서 하이퍼 파라미터를 찾는 법에 대해 알아봅시다. 저는 요즘 머신러닝 사놓은 책들 정주행 중인데 보면서 배운 ML 전반에 대한 이론을 정리하는 중에 있습니다. 이런 이론들을 배워야하는 이유는 나중에 필요할 때 사용할 수 있어야 하기 때문입니다. 저의 경우는 다른 라벨에 개수에 민감한 데이터를 만지다가 데이터를 분리해야하는 상황에서 이 Stratified를 이용해서 분리한 경험이 있습니다 라벨의 분포도를 유지하여 데이터를 분리한다는 것의 의미는 원본 데이터의 패턴을 최대한 유지하는 것입니다. 그래서 부록으로 이 장의 마지막에 이의 활용한 코드를 한 번..