들어가며어느덧 두번째 ESG포럼 & 세미나를 맞이했다. "데이터로 보는 분야" 를 주제로 3명의 강연자분들께서 자리를 빛내주셨다. 각 분야의 전문가로서 이번에는 어떤 이야기를 들려주셨는지 회고해보자. 더 안전한 사회를 위해 이사님께서는 NSHC라는 정보보안 회사에 계신 분이었다. 서비스 중인 보안 솔루션들을 몇가지 알려주셨는데 그 중 눈에 띄는 것은 Droid-X였다. 왜냐하면 내가 예비군 앱을 실행하기 위해서 설치해야 되는 앱이 Droid-X였기 때문이다. 아마 모든 예비군들이 자신도 모르게 사용하고 있지 않을까싶다. 사용자에게는 잘 보이지 않는 서비스일 수 있지만 이렇게 널리 쓰이고 있는 기술을 개발한 회사의 성장기는 과연 어떨까 궁금했다. 작은 컨테이너에서 시작해서 아시아 No.1 정보보안기업에 이..

들어가며본격적으로 데이터분석을 시작하는 첫째날이다. 네이버 랭킹뉴스 페이지를 바탕으로 크롤링부터 배우게 될텐데 과연 어떤 원리와 방식으로 이루어질지 알아보자.HTML 기초교수님께서는 크롤링을 하기 전에 먼저 알아야하는 HTML태그를 몇가지 알려주셨다. 저번 학기 수업으로 접한 적이 있어서인지 배웠던 내용들이 하나둘 씩 생각났다. 태그의 종류는 정말 많지만 그 중 생각나는 몇가지만 정리해보면 다음과 같다.``문단을 구분하는 태그``하이퍼링크를 구련하기 위한 태그``문단을 구분하는 태그``입력값을 받는 태그(텍스트, 숫자, 버튼 등)`, ` ``ul은 순서를 부여하지 않는 목록 태그ol은 순서를 부여하는 목록 태그``ul이나 ol안에 나열되는 항목 태그웹페이지를 구현하는 것이 아닌 구조를 이해하고 데이터 수..

들어가며간단한 데이터 전처리 과정 진도를 모두 마치고, 교수님께서 설계하신 미니 프로젝트를 진행해보았다. 지금까지 배운 전처리 방법들을 활용해서 조건에 맞게 데이터를 추출해보자. 1. 데이터 불러오기주어진 csv파일 `아파트(매매)_실거래가_서울_2022.csv`를 활용하여 데이터프레임을 생성하고 `df_trade`변수에 저장한 후 아래의 결과를 확인 (파일의 내용을 확인하여 불필요한 데이터는 제외하고 데이터프레임을 만들어야함)`df_trade`에 저장된 데이터프레임의 전체 관측치(행)와 변수(열)의 개수 출력`df_trade`에 저장된 데이터프레임의 변수(열) 별 데이터유형을 확인 및 출력먼저 csv파일을 열어서 어떤 식으로 구성되어 있는지 살펴보았다. 상단의 16줄이 파일에 대한 설명으로 자리하고 있..

들어가며데이터의 집계와 처리에 대해서 자세히 다뤄보자. 데이터 집계를 통해 얻은 정보는 다양한 방법으로 데이터 처리에 사용된다. 대표적으로 데이터 집계를 통해 조건을 도출하여 데이터를 선택하는 방법이다. 데이터 집계와 데이터 처리실습 데이터 프레임으로 `df_ins`를 활용했다. 지역별 비용의 평균집계를 구하고자 할 때에는 다음과 같이 작성이 가능하다.# region을 기준으로 (4개) groupby히고 charges의 평균을 구함df_agg = df_ins.groupby('region', as_index=False)['charges'].mean()df_agg# 비용의 평균이 높은 2개의 지역을 target으로 지정targets = df_agg.nlargest(2, 'charges') # DataFram..

들어가며`loc`와 `iloc`를 활용한 부분선택에 이어서 이번엔 함수를 활용한 여러 변수들을 선택하는 방법을 알아보자. 함수를 활용한 여러 변수 선택`filter()`는 변수 이름 패턴을 활용한 선택 방법이다. 옵션은 다음과 같다.`regex`정규표현식, 아래의 패턴을 지정할 수 있다.`^s`s로 시작하는 이름/텍스트`s$`s로 끝나는 이름/텍스트 # se로 끝나는 이름/텍스트 선택df_pr.filter(regex='se$')이렇게 `filter()`를 이용한 방법 외에 `loc`로도 선택을 할 수 있는데 넘기는 값이 리스트인지 단일 값인지에 따라서 결과의 형태가 데이터프레임, 시리즈로 구분된다. 아래처럼 하나의 속성이라도 리스트로 넘기면 데이터프레임 형식으로 출력되고, 리스트가 아닌 단일 값을 넘기면..

들어가며지금까지 배운 파이썬 기초를 베이스로 pandas라이브러리를 이용한 데이터 전처리의 기초적인 부분을 다뤄보자.파일 탐색pandas 라이브러리의 `read_csv()`등의 함수를 활용해서 데이터파일을 불러올 수 있다. 파일을 불러오기 위해서는 경로를 지정해줘야 하는데 이 때 절대경로 또는 상대경로를 사용하게 된다.  `/`root, Window에서는 `C:\``~/`사용자 폴더, Window에서는 `C:\Users\사용자계정이름``./`현재 작업 폴더(working directory), 별도로 작업하지 않은 경우 생략 가능`../`현재 폴더의 상위 폴더 # 타켓 파일 : test.csv# 절대 경로'C:/Users/사용자/Desktop/02_python시각화/data/test.csv'# 상대 경로(..

들어가며오늘은 진도를 거의 나가지 않고, 미니프로젝트인 베이스볼 게임을 구현해보는 시간을 가졌다. 지금까지 접했던 10줄 내외의 예제코드와는 다르게 꽤 많은 기능을 가지고 있는 만큼 흐름을 차근차근 생각해보고 구현해보자.베이스볼 게임 기능 설명주요 기능임의의 숫자 생성 : 컴퓨터가 0-9 사이의 서로 다른 3개의 숫자를 임의로 생성합니다.사용자 입력: 사용자가 3자리 숫자를 입력한비다.스트라이크 및 볼 계산 : 사용자가 입력한 숫자와 위치를 비교하여 스트라이크와 볼의 개수를 계산합니다.결과 출력 : 스트라이크와 볼의 개수를 사용자에게 알려줍니다.게임 종료 : 사용자가 숫자를 모두 맞추면 게임을 종료하고, 재시작 여부를 묻습니다.세부 기능 설명임의의 숫자 생성 : `random` 모듈을 사용하여 0-9 사..

들어가며이번 시간에는 파이썬에서의 사용자 정의 함수를 배워보았다. 그리고 지금까지 배웠던 내용들을 다시 리뷰해보는 시간을 가졌다. 먼저 함수를 정의하고 다루는 방법에 대해 알아보자.함수와 메서드함수는 `def`를 이용하여 정의할 수 있다. `def` 뒤에는 함수의 이름을 지정하고 괄호 안에는 넣고자 하는 매개변수를 넣는다. 함수에서 실행하고자 하는 코드는 아래 코드와 같이 들여쓰기를 함으로써 한 코드블록으로 묶어줘야 한다. 또한 함수에는 반환값이라는 개념이 있는데 `return`을 이용해서 함수의 실행이 끝나면 값을 반환할 수 있다. 아래의 `add`함수는 매개변수 a와 b를 더한 값을 반환하는 기능을 가진 함수라고 보면된다. 함수 호출 후 반환된 값은 임의로 생성한 변수에 저장을 할 수도 있다.# 함수..

들어가며저번 시간에 데이터 타입의 종류 중 숫자형, 논리형, 문자형까지 배워보았다. 오늘도 이어서 시퀀스 데이터 타입과 맵핑 데이터 타입을 알아보자.시퀀스 데이터 타입값을 여러 개로 묶을 수 있는 타입이다. 파이썬에서는 `list`, `tuple`을 주로 다루게 된다.# 리스트 타입salary = [5000, 6000, 7000, 6000, 9000]# .append 요소 추가salary.append(10000)# [5000, 6000, 7000, 6000, 9000, 10000]# .extend 요소 확장 추가salary.extend([300, 400, 500])# [5000, 6000, 7000, 6000, 9000, 300, 400, 500]리스트에 요소를 추가할 때 `append`와 `extend..