목록전체 글 (4)
왕초보 괴발자
파이썬에서 스파크로 타이타닉 데이터 다뤄보기
1. 이걸 할거에요 - 스파크로 데이터를 다루는 방법을 간단하게 해 볼거에요. 2. 이렇게 해요 1) 파이썬 스파크 환경(pyspark)가 준비되어 있어야 해요. from pyspark.sql import SparkSession spark = SparkSession.builder.appName("spark-dataframe").getOrCreate() spark SparkSession - in-memory SparkContext Spark UI Version v3.5.0 Master local[*] AppName spark-dataframe 2) 타이타닉 데이터를 받아요. - https://github.com/YOOHYUNJUNE/spark_titanic/blob/master/titanic_data.cs..
(공공데이터) 파이썬 서울특별시 평균 월세 법정동 별 folium 시각화
1. 이걸 할거에요 2. 순서에요 1) 공공데이터 "서울특별시_전월세가_2023.csv"파일을 준비해요. 2) 법정동별로 월세 평균을 구해요. 3) EPSG5179 에서 EPSG4326 으로 좌표변환을 해요. 4) folium으로 시각화해요. 3. 이렇게 해요 1) 공공데이터를 받아요. https://data.seoul.go.kr/dataList/OA-21276/S/1/datasetView.do 열린데이터광장 메인 데이터분류,데이터검색,데이터활용 data.seoul.go.kr df_23 = pd.read_csv('서울특별시_전월세가_2023.csv', encoding='utf-8') df_23.head() 접수년도자치구코드자치구명법정동코드법정동명지번구분코드지번구분본번부번층...보증금(만원)임대료(만원)건..
파이썬 직방 원룸 크롤링, 서울 내 대학교 근처 원룸 folium 시각화
1. 이걸 할거에요 2. 주의해요 1) 직방은 "geohash"라는 좌표를 사용해요. 서울의 경우 "wjdq", "wjdj", "wjdm"으로 지정했어요. 나머지 구역은 산간지역으로 추청하고 좌표를 추가하지 않았어요. 2) 무단 크롤링의 상업적 이용은 법정 소송을 야기할 수 있어요. 3. 순서에요 1) 직방 사이트의 개발자도구(F12)에서 원룸 정보를 추출해서 데이터프레임으로 만들어요. 2) 원룸들의 좌표 정보로 행정구역을 부여해줘요. 3) 행정구역을 기준으로 서울 내 대학교와 원룸 매물을 매칭해요. 4) 대학교를 검색하면 같은 행정구에 있는 원룸을 보여줘요. 4. 이렇게 해요 1) 필요한 라이브러리에요. import pandas as pd import numpy as np import requests ..
파이썬 셀레니움으로 멜론 가사 크롤링, 스크래핑 하기
1. 이걸 할 거에요 1) 멜론 차트 HOT 100의 음원 정보 일부를 크롤링해요. 순위곡ID곡명가수앨범좋아요 0137138469나는 아픈 건 딱 질색이니까(여자)아이들288,969 1237140709첫 만남은 계획대로 되지 않아TWS (투어스)TWS 1st Mini Album ‘Sparkling Blue’98,596 2337194943밤양갱비비 (BIBI)밤양갱122,026 3437225604EASYLE SSERAFIM (르세라핌)EASY60,727 4537145732Love wins all아이유The Winning150,340 2) 크롤링한 음원의 가사를 스크래핑해요. 순위곡ID곡명가수앨범좋아요가사 0137138469나는 아픈 건 딱 질색이니까(여자)아이들289,083오늘도 아침엔 입에 빵을 물고 똑..