분류 전체보기26 [크롤링] - 파이선으로 크롤링 배우기 - 2 네이버 금융사이트 코스피 top 100 정보 가져오기 Requests 라이브러리와 beautifulsoup 라이브러리 활용하여 res에 정보저장 가져온 정보는 사용자만 읽을 수 있는 정보이므로 컴퓨터가 알 수 있게 변환 코스피 거래량 top100 종목 가져오기 – soup 데이터 중 a태그의 title만 가져오기 이어서 각 종목별 가격 가져오기 여기서 종목과 가격데이터를 잘 가져온 건지 검증 필요 Title과 가격정보의 선택자 검사를 통해 위치 확인 -> 3번째 자식에 들어있었음 Nth-child를 활용하여 접근하고 price1에 다시 저장 이후 데이터 확인해 보니 종목과 개수가 맞음 ->올바른 데이터 수집 같은 방식으로 거래량 데이터도 수집 그러나 이렇게 하면 jupyter에서만 보이니까 파일로 저장하.. 2023. 8. 6. [크롤링] - 파이선으로 크롤링 배우기 - 1 Request 라이브러리 기본 응답구조 melon 사이트 데이터 요청 실습 get함수, response 코드 확인, 성공하면 [200] 불러왔는데 200이 아닌 400대가 나옴 -> 요청에서 문제가 있다는 에러코드 서버에러면 500번대! 파이선에서 req로 부르는 거랑 브라우저로 부르는 것의 차이? 해결하기 위해서 브라우저로 접속하는 것처럼 속이는 것 -> headers 작업이라고 부름 개발자 도구 -> 네트워크 -> headers->user-agent { key : value } dictionary 타입 200이 나온 걸로 보아 요청에 성공을 보고 브라우저에서 접근을 했구나 라는 인식 Beautifulsoup 라이브러리 : text정보를 컴퓨터가 알아듣게 변환 Bs(변환할 데이터, 변환형식) 변환된 걸.. 2023. 8. 6. 8월 6일 부동산 주요 뉴스 스크랩 23년 8월 6일 부동산 주요뉴스 한 달 만에 2억 뛰었다”...집값 들썩이는 동탄신도시 왜? [김경민의 부동산NOW] http:// https://n.news.naver.com/article/024/0000083762?sid=101 1억5천만원 증여세 공제' 몇집이나 혜택받나…순자산 기준 78% http:// https://n.news.naver.com/article/001/0014114239?sid=101 우리 아파트는 무량판 구조가 아닙니다"[철근 누락 사태 일파만파]② http:// https://n.news.naver.com/article/003/0012015419?sid=101 국평'이 46억, 1년도 안 돼 16억 뛴 이 아파트…서울·수도권 하락세 멈췄나 https://n.news.naver.. 2023. 8. 6. [ADP] 1,2,3,5 과목 요약본 공유 요약본 8.19 ADP 시험을 준비하는 중 범위가 많아 요약본을 정리해서 들고 다니기로 생각한 지 4일 만에 1,2,3,5과목에 대한 요약본을 만들었습니다. 4과목의 경우 ADsP 때처럼 내용이 많아 따로 요약본을 만들지 않고 책으로 공부 중입니다. 시중에 있는 책인 데이터 분석 전문가 필기 - 데이터 에듀의 책을 참고한 것이고, 방학 중이라 ADP 도전하시는 분들 많을 텐데 조금이나마 도움이 되었으면 좋겠습니다. 정말 간단한 25페이지 분량의 요약본이라 빠져있는 부분도 많습니다. 저도 요약본을 프린트하여서 단권화 작업 중에 있습니다. 이러한 느낌의 요약본이니 필요하신 분들 다운로드하셔서 사용 바랍니다. 모두들 파이팅입니다. 제목이 저렇긴 한데 5과목도 포함되어 있습니다. 2023. 8. 5. [ADP] 1과목, 2과목 1장 오답노트 문제 풀이 오답 헷갈렸던 것들만 따로 정리해봅니다. SQL의 대표적인 집계함수 AVG : 지정한 열의 평균값 반환 : 수치형 COUNT : 테이블의 특정 조건이 맞는 것의 개수를 반환 : 수치형, 문자형 -- 그래서 수치형, 문자형 다 사용가능한 함수는 COUNT SUM : 지정한 열의 총합을 반환 : 수치형 STDDEV : 지정한 열의 분산을 반환 : 수치형 MIN : 지정한 열의 최솟값을 반환 : 수치형 MAX : 지정한 열의 최댓값을 반환 : 수치형 데이터 마스킹 데이터의 길이, 유형, 형식과 같은 속성을 유지한 채 새롭고 읽기 쉬운 데이터를 익명으로 생성하는 기술 데이터 마이닝 대용량 데이터에서 의미 있는 정보를 추출하여 의사결정에 활용하는 기술 딥러닝 다층 구조 형태의 신경망을 바탕으로 하는 머.. 2023. 8. 5. [ADP] - 5과목 요약 ADP 5과목 데이터 시각화 1장. 시각화 인사이트 1절. 시각화 인사이트 프로세스의 의미 DIKW 피라미드 Data – 각각 분리된 개별적인 기초 자료 Information – 데이터 간의 관계가 생성된 것 Knowledge – 다양한 정보가 상위 개념의 관계를 맺고 조직화된 것, 인류가 그동안 축적한 총체적인 정보가 조직적으로 재구성되어 새로운 의미가 도출 Wisdom – 개인화된 지식, 개인의 경험, 사고, 감정 체계와 결합되고 관계를 맺을 때 구조화 되어 나타남 시각화 인사이트 프로세스 시각화를 통해 통찰을 추출하는 전반적인 과정 탐색 -> 분석 -> 활용 순서 2절. 탐색 사용 가능한 데이터 확인 -> 연결 고리의 확인 -> 관계의 탐색 순서로 진행 ------ 사용 가능한 데이터 확인 ----.. 2023. 8. 5. 이전 1 2 3 4 5 다음
