디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤링 << 이거 진짜 실력향상에 도움 많이됨앱에서 작성

프갤러(117.111) 2024.05.10 15:13:07
조회 132 추천 1 댓글 3

1. 스크랩핑한 데이터에 맞게끔 테이블을 짜야하는데 결국 완성하게되면 해당 사이트와 비슷하게 테이블을 짜게 되어있음. 이게 도움 많이됨.

2. 동기적, 비동기적으로 크롤링을 하는데 두개 공부하기 딱 좋음

3. 대용량의 데이터를 다루기 때문에 얼만큼 끊어서 일괄 저장할지 , 이미지 최적화는 어떻게하고 임시 파일로 저장했다가 한꺼번이 처리할지 등등 연습하기 좋음

4. 크롤링은 주기적으로 실행하는편이니깐 크론에 대해서 실습하기 좋음

5. 만약 해당 사이트의 셀렉터 구조가 바뀌어서 다시 코드 짜야할때 굉장히 번거로운데 이때 테스트 코드 작성하는 방법을 배울 수 있음. 개별로 테스트 케이스 만들어놨다가 실패하는 케이스만 골라서 처리 하면됨

6. 공식문서 참고를 많이하게됨. 관련강의 자체도 거의 없을뿐더러 있어도 셀레니움같은 틀딱 라이브러리씀. gpt도 병신같이짜줘서 공식문서 보는 습관 들이기 편함

7. 자동화 프로그램이다 보니 클린코드를 지향하게됨. 이거도 도움 많이됨

ㄹㅇ 공부할거면 크롤링해라

- dc official App

추천 비추천

1

고정닉 0

1

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는? 운영자 24/05/27 - -
2701291 머신러닝개발자인데 졷됬다 [5] 프갤러(211.234) 05.25 119 1
2701290 정치질 하는 새키면 말을 하쥐 새캬 [2] 프갤러(121.172) 05.25 42 0
2701289 프갤 특검 가자 [3] 도리스아(119.195) 05.25 38 0
2701288 구걸을 뭐 저런식으로 하냐 [1] 프갤러(121.170) 05.25 25 0
2701285 크몽 And RxFramework [4] 프갤러(121.172) 05.25 52 0
2701284 네이버 클라우드 사용을 기각합니노 [5] 헬마스터갤로그로 이동합니다. 05.25 45 0
2701283 개발자는 그냥 방정리하는 청소부에 지나지 않음 [1] ㅇㅇ(175.199) 05.25 40 0
2701281 스프링 개장애 다국어 properties [2] 프갤러(175.119) 05.25 33 0
2701280 조언과 토담의 차이 [1] 프갤러(121.172) 05.25 32 1
2701279 나 나중에 감옥 갈까? [1] 도리스아(119.195) 05.25 26 0
2701277 지금 갤루리하는 애들==ㅇㅅㅇ [6] 나트륨찡갤로그로 이동합니다. 05.25 39 0
2701276 야 조언을 하려면 제대로 해야 하지 않겠냐? [4] 프갤러(121.172) 05.25 49 0
2701275 아.. 우리가족 자식키우기 난이도가 ㅈㄴ 높구나... 딱꾹(61.99) 05.25 30 0
2701274 클라우드쪽 직무 준비하려는데 필요한거 이정도면 될까? ㅇㅇ(112.152) 05.25 26 0
2701272 내부고발자가 무서운이유 프갤러(115.89) 05.25 25 0
2701271 네이버는 기획자좀 해고해야할듯 [2] 헬마스터갤로그로 이동합니다. 05.25 65 0
2701270 히토미 개씨팔련들 팝업 존나선넘었네 딱꾹(61.99) 05.25 28 0
2701269 RxStore 작업 현황 및 비즈니스 모델 [4] 프갤러(121.172) 05.25 57 1
2701267 너희는 근데 뽀꾸할때 자기 뽀꾸냄새에 더 꼴린다거나 안그럼? [1] 딱꾹(61.99) 05.25 21 0
2701266 원종이 면회 간다던 새끼들 프갤러(211.112) 05.25 28 0
2701265 오늘의 발명 실마리: 타자기 자동 입력 장치 발명도둑잡기갤로그로 이동합니다. 05.25 15 0
2701264 따꾸기 이제 자위 그만하구 쎅스하구싶엇!!!! 딱꾹(61.99) 05.25 16 0
2701263 나 이제 진짜여자필요해 ㅠㅠ 따꾸기 다 컸어... 딱꾹(61.99) 05.25 27 0
2701262 애국심으로 일단 팝업한번 참아줬다 네이버야 헬마스터갤로그로 이동합니다. 05.25 21 0
2701261 네이버 클라우드좀 써볼까 했는데 로그인부터 [2] 헬마스터갤로그로 이동합니다. 05.25 48 0
2701260 이상성욕 갤루리입니다 ㅇㅅㅇ [2] 나트륨찡갤로그로 이동합니다. 05.25 29 0
2701259 대기업 죄다 플러터 쓰던데 [2] ㅇㅇ(172.226) 05.25 66 0
2701258 우리 그냥 갤 이름 성욕갤러리로 바꾸자 딱꾹(61.99) 05.25 19 0
2701257 정력제 효과좋다궁♡ ㅠㅠ 따꾸기 어려서그런지 딱꾹(61.99) 05.25 16 0
2701256 나님 자루간다 ㅇㅅㅇ 나트륨찡갤로그로 이동합니다. 05.25 15 0
2701255 아 그냥 정력제 다섯알씩 집어먹을까 진짜 딱꾹(61.99) 05.25 16 0
2701254 요즘공대애들 한문 거의 모르지? [2] ㅣㅇㅅ(39.7) 05.25 65 0
2701253 근데 따꾸기가 나르시스트라그런지 몰겠는데 딱꾹(61.99) 05.25 19 0
2701251 플러터가 좋은데 예전에 동시성에 문제가 있다던가 발명도둑잡기갤로그로 이동합니다. 05.25 27 0
2701249 첫눈에 반한 여자는 뭘해도 내타입이더라 딱꾹(61.99) 05.25 21 0
2701248 냥덩아 후기좀 [1] 딱꾹(61.99) 05.25 23 0
2701247 사랑에도 체력이 필요한가요..❤+ [2] ♥순수퓨어냥덩♥갤로그로 이동합니다. 05.25 30 0
2701246 천생연분이랑은 냄새도딱맞구 크기도 딱맞구 히히히 그럴듯 딱꾹(61.99) 05.25 15 0
2701245 코딩 잘하는 법.real ㅇㅇ갤로그로 이동합니다. 05.25 42 0
2701242 1주택자 종부세 면제? 절대로 안 될 일!, 당근하다 세금 날벼락 [1] 발명도둑잡기갤로그로 이동합니다. 05.25 27 0
2701240 솔직히 성기를 핥는행위 거부감드는데 무섭구 [1] 딱꾹(61.99) 05.25 35 0
2701239 프갤주인은 따로있었어 [2] 멍청한유라ㅋ갤로그로 이동합니다. 05.25 37 0
2701237 성욕의 끝은 스캇과 게이라는데 [4] 헬마스터갤로그로 이동합니다. 05.25 45 0
2701236 이쁜여자들은 발정냄새도 이쁠듯 [5] 딱꾹(61.99) 05.25 48 0
2701235 플러터 쓰던 회사들은 플러터 그대로 쓸려나? 프갤러(118.235) 05.25 25 0
2701233 아니 뭐 자바는 뭐가 많냐 [1] ㅇㅇ(182.230) 05.25 34 0
2701232 미녀들은 발정냄새 어떨지 궁금하다 [1] 딱꾹(61.99) 05.25 25 0
2701230 피시는 yes no 모바일은 no yes로 [2] 헬마스터갤로그로 이동합니다. 05.25 24 0
2701228 따꾸기 정력제 먹습니당♡ 딱꾹(61.99) 05.25 16 0
2701227 애플이 주도하는 no yes 순서 그지같지않냐? [2] 헬마스터갤로그로 이동합니다. 05.25 28 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2