728x90
크롤링 검색 결과
5 개의 검색 결과가 있습니다.
Web/vue.js

[vue.js] xml to json - 네이버뉴스 가상화폐 관련 글 보여주기

0. 목적 -. 코인뷰 페이지에 추가할 최근 뉴스 데이터 만들기 -. 네이버뉴스에서 제공하는 xml (이전 rss 잔재)을 이용해본다. 1. xml 데이터 가져오기 -. 시작 전에, 네이버뉴스의 xml은 당연하게도 cors 제한이 걸려있으므로.. 프록시 서버를 통해 xml을 받아오게 되었음. -. 우선 내 프록시 서버의 단말로 쿼리를 날려서 xml을 가져오도록 해야한다. vue async getCrawledNews () { const response = await getAPI.get('crawled/naverrss?query=' + encodeURIComponent("암호화폐")); const crawledArticles = response.data; return crawledArticles; } pyt..

2022. 2. 4. 19:46
Web

[web] 반응형 테이블 만들기 - css grid

0. 들어가기 -. 데스크탑과 모바일 창에서 다른 형태를 보여주는 테이블을 만든다. 사실 table에 css 씌워서 만들었더니 간단하긴 한데 형태가 이쁘지 않아서 다시 작업함. -. 요 포스트와 document 따라서 만들어봄. 결과물은 요기로. 1. 데스크탑에서 보이는 테이블 만들기 1) 테이블 헤더 (thead) 대체하기 -. 우선 table 구조를 div로 이루어진 grid 구조로 변경한다. 여기서는 grid-thead라는 클래스를 만들어서 적용한다. -. 중요한건 css의 display: grid 설정과 grid-template-columns의 비율 설정. 번호 제목 회사 공시일시 의견 목표가 애널 ---- new HTML ---- 번호 제목 회사 공시일시 의견 목표가 애널 ---- CSS ---..

2021. 3. 19. 23:38
python

[python] 한경 컨센서스 크롤링

0. 들어가기 -. 한국경제신문에서 제공하는 컨센서스 리스트를 가져와서 DB에 저장한다. -. 저장한 DB를 웹에서 보여준다. -. 앞서 파싱해 온 다트 전자공시와 비슷한 형식에, 목표가/애널 이름을 추가한 게시판 형식을 만들 예정. -. ah 1. 한국경제 크롤링 -. 파이썬의 beautifulsoup을 이용해 한경 컨센 목록을 가져온다. 자세한 설명은 이전 포스팅에서.. -. 대략 3년치 데이터를 가져오니 25,000개 정도 된다. 2. 게시판 구성하기 -. flask로 게시판 만들기와 부트스트랩을 이용해 이쁘장하게 꾸미는 것, 두가지 포스팅을 한 적이 있는데 이것의 확장판. -. 게시판을 뚝딱 만들 줄 알았는데.. 반응형을 넣으려니 좀 골때리네.. 일단 데스크탑에서 보이는 테이블은 이렇게 만들어두면..

2021. 3. 18. 21:27
python

[Python] 신용카드 혜택 모으기 - 네이버 신용카드 정보 크롤링 (2)

0. 들어가기 -. 앞 포스팅에 이어, 네이버 신용카드 정보 크롤링을 진행한다. -. 앞에선 자바스크립트로 카드 목록을 뽑아오는 것을 했고, 이번엔 파이썬으로 각 상세정보 페이지를 파싱하는 작업을 하겠다. BeautifulSoup와 requests라는 매우 유명한/유용한 라이브러리를 사용한다. C#으로도 비슷한 행위를 할 수 있지만, 이번엔 굳이 gui 환경 꾸밀 필요가 없으니 파이썬으로 한다. 1. 패키지 설치 -. 정말 많은 블로그들에서 똑같은 말을 하니까 굳이 할 필요 있나 싶지만? 그냥 나도한다. 구체적인 설명은 각 documentation 참고. 아 참고로, 설치명은 beautifulsoup4 다. pip install requests pip install beautifulsoup4 2. Htm..

2021. 2. 16. 19:44
Web

[Web] 신용카드 혜택 모으기 - 네이버 신용카드 정보 크롤링 (1)

0. 들어가기 -. 친구가 앱 만드는데 필요하다 부탁하여, 네이버 신용카드 정보 크롤링을 할 이유가 생겼다. -. 네이버 신용카드 정보 페이지 구조 확인 및 간단한 자바스크립트 코드로 추출 시도. 1. 네이버 신용카드 페이지 구조 -. 네이버 신용카드 페이지는 리스트 페이지 (/list) -> 개별 카드 페이지 (/item?cardAdId="카드번호") -> 이하 카드 사진 포함 설명으로 이루어짐. -. 페이지 구조를 살펴보면, 1) "Benefits" class에서 혜택 기술이 시작, -. 2) 각 혜택 종류에 대해 -. 3) 상세 혜택 나열 하는 순서로 구성되어 있다. 3. 각 항목 가져오기 -. 카드 설명은 개별 태그(Tag)로 잘 정리되어 있다. -. 카드이름(b.txt) / 혜택종류(b.text..

2021. 2. 16. 17:07