인공지능 개발일지

안녕하세요~ 이번 시간에는 범주형 칼럼에 대해서 카테고리별로 그룹화하고 그룹별로 DataFrame을 반환하는 방법에 대해알아 보겠습니다. 이 groupby() 함수도 기능이 많긴 하던데 저는 제목에 나온 대로 그룹화하는 방법과 그룹 객체를 생성하는 방법에 대해서만 정리해 보았습니다. 실제로 제일 많이 사용되기도 하고요. 왜 때문인진 모르겠는데 제가 이 작업을 할 때 아무 생각 없이 아래와 같이 비효율적으로 했었습니다. 근데 하다 보니 귀찮아서 그룹화에는 뭔가 이 sort 해주는 기능이 있을 것 같았는데 찾아보니 역시 있더군요..^^ # 사용가능한 노선만 철도별로 분리 notUse_train1=notUse_train[notUse_train['노선명']=='경강선'] notUse_train2=notUse_t..

안녕하세요. 이번 시간에는 스파크와 하둡의 차이에 대해 알아봅시다. 요즘 드는 생각이 머신러닝이 이런 거고 딥러닝이 이런 것이란 건 알겠는데 이게 실제 서비스단에서 배포가 되고 사용될 때는 파이프라인이 어떤 방식으로 구축되고 실시간으로 들어온 데이터는 구체적으로 어떻게 처리가 되지 하는 의문점이 있었다. 이에 찾아보니 분산처리를 이용해 실시간 데이터를 처리하는 프레임워크가 크게 Apache Spark와 Hadoop이 있었다. 그래서 이에 대해 간단히 알아보자. 하둡은 슈퍼 컴퓨터 없이 서버를 여러대 연결해 빅데이터 분석을 가능하게 했다. 그러나 여러 단점이 있어 이를 보완해 나온것이 아파치 스파크이다. 하둡과 비슷하게 분산처리를 하지만 이에 비해 메모리를 효율적으로 빠르게 처리한다. 우선 하둡은 아래와 ..

안녕하세요. 이번 시간에는 임베딩의 간단한 개념과 Word2Vec를 사용해서 단어 임베딩과단어 간의 유사도 구하기를 실습해봅시다.(개인적으로 자연어 처리가 너무 재밌고 신기한 것 같아요)   0. 논문의 Word2Vec와 라이브러리 Word2Vec의 차이점우선 들어가기에 앞서 Word2Vec에 대해 먼저 말씀드리면 Word2Vec는 원래 자연어 처리에서 유명한 논문 중 하나로 문장을 벡터로 표현하는 방법 중 하나입니다. 그래서 이 논문을 보면 Word2Vec는 원래 문장을 입력값으로 받아서 그 문장에서 단어의 위치로부터 의미와 유사도를 좌표축상에 나타내고 이를 기반으로 단어를 임베딩하고 단어 간의 거리를 통해 유사도를 구할 수 있습니다. 그래서 이의 특성으로는 문장이 입력값으로 들어갈 때 좋은 성능이 나..

안녕하세요! 이번 시간에는 판다스에 대해 알아봅시다. 판다 스는 제가 좋아하는 언어고 Python의 장점인 문법의 유연함을 100%로 활용한 라이브러리 같습니다. 여담으로 Pandas는 MySQL을 좀 더 시각적으로 더 활용해서 다룰 수 있는 언어 같다고 느꼈습니다. 그리고 테이블 형태의 데이터를 다루는데 최적화된 언어 같습니다. 한 번 알아봅시다. 지난 시간에는 판다스와 같이 잘 쓰이는 선형대수 라이브러리 Numpy에 대해 알아봤는데요. 혹시 이에 대한 선행학습이 되어 있지 않다면 이 게시글과 함께 실습해 보는 것도 추천드립니다. 물론 아래 정리된 내용 말고 현재도 계속 라이브러리가 계속 업데이트되어서 종류가 매우 많지만 우선 기본적인 것 위주로 정리했습니다. 제가 4달 동안 이것만 붙잡고 하다 보니 ..