인공지능 개발일지

안녕하세요~ 이번 시간에는 범주형 칼럼에 대해서 카테고리별로 그룹화하고 그룹별로 DataFrame을 반환하는 방법에 대해알아 보겠습니다. 이 groupby() 함수도 기능이 많긴 하던데 저는 제목에 나온 대로 그룹화하는 방법과 그룹 객체를 생성하는 방법에 대해서만 정리해 보았습니다. 실제로 제일 많이 사용되기도 하고요. 왜 때문인진 모르겠는데 제가 이 작업을 할 때 아무 생각 없이 아래와 같이 비효율적으로 했었습니다. 근데 하다 보니 귀찮아서 그룹화에는 뭔가 이 sort 해주는 기능이 있을 것 같았는데 찾아보니 역시 있더군요..^^ # 사용가능한 노선만 철도별로 분리 notUse_train1=notUse_train[notUse_train['노선명']=='경강선'] notUse_train2=notUse_t..

안녕하세요. 이번 시간에는 스파크와 하둡의 차이에 대해 알아봅시다. 요즘 드는 생각이 머신러닝이 이런 거고 딥러닝이 이런 것이란 건 알겠는데 이게 실제 서비스단에서 배포가 되고 사용될 때는 파이프라인이 어떤 방식으로 구축되고 실시간으로 들어온 데이터는 구체적으로 어떻게 처리가 되지 하는 의문점이 있었다. 이에 찾아보니 분산처리를 이용해 실시간 데이터를 처리하는 프레임워크가 크게 Apache Spark와 Hadoop이 있었다. 그래서 이에 대해 간단히 알아보자. 하둡은 슈퍼 컴퓨터 없이 서버를 여러대 연결해 빅데이터 분석을 가능하게 했다. 그러나 여러 단점이 있어 이를 보완해 나온것이 아파치 스파크이다. 하둡과 비슷하게 분산처리를 하지만 이에 비해 메모리를 효율적으로 빠르게 처리한다. 우선 하둡은 아래와 ..

안녕하세요! 이번 시간에는 판다스에 대해 알아봅시다. 판다 스는 제가 좋아하는 언어고 Python의 장점인 문법의 유연함을 100%로 활용한 라이브러리 같습니다. 여담으로 Pandas는 MySQL을 좀 더 시각적으로 더 활용해서 다룰 수 있는 언어 같다고 느꼈습니다. 그리고 테이블 형태의 데이터를 다루는데 최적화된 언어 같습니다. 한 번 알아봅시다. 지난 시간에는 판다스와 같이 잘 쓰이는 선형대수 라이브러리 Numpy에 대해 알아봤는데요. 혹시 이에 대한 선행학습이 되어 있지 않다면 이 게시글과 함께 실습해 보는 것도 추천드립니다. 물론 아래 정리된 내용 말고 현재도 계속 라이브러리가 계속 업데이트되어서 종류가 매우 많지만 우선 기본적인 것 위주로 정리했습니다. 제가 4달 동안 이것만 붙잡고 하다 보니 ..

안녕하세요! 이번 시간엔 파이썬의 선형대수 라이브러리인 넘파이 사용방법에 대해 알아봅시다. 머신러닝에는 크게 아래와 같이 4가지의 라이브러리가 있는데 이 중 NumPy에 관해 먼저 알아봅시다. NumPy - 선형대수 라이브러리 Pandas - 데이터 분석 라이브러리 Matplotlib - 시각화 라이브러리 Scikit-Learn - 머신러닝 주요 라이브러리(알고리즘 포함) 넘파이가 뭐냐?라고 하면 넘파이는 Python의 선형대수 라이브러리로 C언어 기반으로 작성되어서 다차원 배열이나 행렬의 계산 속도가 압도적으로 빠릅니다. 저도 처음 배울 때는 넘파이보다 판다스가 시각적으로 좋고 더 많이 쓰이는 것 같은데 넘파이는 머신러닝에서 별로 안 중요하나?라고 생각한 적이 있었는데 이는 넘파이의 위력을 맛본 뒤로는..