크롤링 << 이거 진짜 실력향상에 도움 많이됨

크롤링 << 이거 진짜 실력향상에 도움 많이됨앱에서 작성

프갤러(117.111) 2024.05.10 15:13:07

조회 120 추천 1 댓글 3

1. 스크랩핑한 데이터에 맞게끔 테이블을 짜야하는데 결국 완성하게되면 해당 사이트와 비슷하게 테이블을 짜게 되어있음. 이게 도움 많이됨.

2. 동기적, 비동기적으로 크롤링을 하는데 두개 공부하기 딱 좋음

3. 대용량의 데이터를 다루기 때문에 얼만큼 끊어서 일괄 저장할지 , 이미지 최적화는 어떻게하고 임시 파일로 저장했다가 한꺼번이 처리할지 등등 연습하기 좋음

4. 크롤링은 주기적으로 실행하는편이니깐 크론에 대해서 실습하기 좋음

5. 만약 해당 사이트의 셀렉터 구조가 바뀌어서 다시 코드 짜야할때 굉장히 번거로운데 이때 테스트 코드 작성하는 방법을 배울 수 있음. 개별로 테스트 케이스 만들어놨다가 실패하는 케이스만 골라서 처리 하면됨

6. 공식문서 참고를 많이하게됨. 관련강의 자체도 거의 없을뿐더러 있어도 셀레니움같은 틀딱 라이브러리씀. gpt도 병신같이짜줘서 공식문서 보는 습관 들이기 편함

7. 자동화 프로그램이다 보니 클린코드를 지향하게됨. 이거도 도움 많이됨

ㄹㅇ 공부할거면 크롤링해라

- dc official App

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
2699948	반도체 발전시킬필요없음 arm 쓰면 2배 성능업	프갤러(221.154)	05.23	13	0
2699947	윈도우: 호환성 위해서 팔다리 다묶음	프갤러(221.154)	05.23	20	0
2699946	쿠팡은 망해야한다. [17]	멍청한유라ㅋ	05.23	84	0
2699945	인문학을 배워도 옥석을 가려 이해해야된다 [3]	나트륨찡	05.23	30	0
2699944	친구가 잘나가는 서비스 회사 팀장임 [6]	ㅇㅇ(223.38)	05.23	63	0
2699943	프갤 첨할때가 생각난다 [4]	ㅇㅇ(223.38)	05.23	34	0
2699942	포인터 진정으로 이해해야 [1]	ㅇㅇ(223.38)	05.23	26	0
2699941	언어는 [1]	ㅇㅇ(223.38)	05.23	17	0
2699940	진짜 mc몽 노래 들어도 들어도 너무 좋음 [1]	노럐	05.23	22	0
2699939	여기 취준생 현직자 비율 몇? [3]	ㅇㅇ(223.38)	05.23	48	0
2699938	gpt 이용해서 주작기 만드는거 가능?? [4]	ㅇㅇ(116.36)	05.23	39	0
2699936	베라 맛 추천 민초 [1]	ㅇㅇ(223.38)	05.23	15	0
2699934	베라 요새 봉지값도 받네 [1]	ㅇㅇ(223.38)	05.23	18	0
2699933	베라 쿼터먹음 [1]	ㅇㅇ(223.38)	05.23	19	0
2699932	내가 존잘남으로 태어났으면...... [1]	프갤러(218.158)	05.23	36	3
2699931	빌게이츠 감동실화 (위인전에서 알려주지 않는) [3]	프갤러(121.186)	05.23	35	0
2699930	자바 자스해라	멍청한유라ㅋ	05.23	36	0
2699929	무적스택) 자바스프링 리액트 플러터 [1]	프갤러(172.226)	05.23	42	0
2699928	류류 위험인물 [3]	도리스아 sky(223.38)	05.23	35	0
2699927	빌게이츠 감동실화 (잡스 포함) [2]	프갤러(121.186)	05.23	32	0
2699926	연협하니 너무 아쉬워 [21]	멍청한유라ㅋ	05.23	84	1
2699925	최근 알 수 없는 공격에 의해 자아가 파괴되었었습니다. [11]	프갤러(58.29)	05.23	85	0
2699924	오뚜기 피자 맛있어? ㅇㅅㅇ [2]	헤르 미온느	05.23	25	0
2699923	영어 어느정도까지 할줄아는게 맞아? [2]	프갤러(221.154)	05.23	34	0
2699922	플러터 망한거 맞지? [5]	프갤러(59.16)	05.23	58	0
2699921	나는내향적이야 [1]	ㅇㅇ(223.39)	05.23	16	0
2699920	저녁 공기.. 좋당.. 설레이는 밤거리 냄새..❤+	♥순수퓨어냥덩♥	05.23	18	0
2699919	인터넷에 나타난 인류를 멸망케하는 혐오스러운 것 [1]	책사풍후	05.23	25	0
2699918	나의 취업 성공기. [1]	프갤러(59.16)	05.23	54	0
2699917	개통령 카더라~ 카더라~ [1]	프갤러(121.170)	05.23	18	0
2699916	빌게이츠 감동실화. [7]	프갤러(121.186)	05.23	35	0
2699915	냥덩이의 퓨어순수❤+ 에너지야 멀리널리 퍼져랑⭐+ [1]	♥순수퓨어냥덩♥	05.23	21	0
2699914	설득<--이거 존나 안 좋은 거 ㅇㅅㅇ [3]	나트륨찡	05.23	34	0
2699913	구례 가서 서울로 왔다가 재활용하러 나왔습니다. [2]	도리스아 sky(223.38)	05.23	26	0
2699912	빌게이츠 성공에 코딩실력보다 아빠 후광 큰건 맞긴 함. [3]	프갤러(121.186)	05.23	51	1
2699910	바닐라 붐은 온다 [1]	ㅇㅇ(211.234)	05.23	28	1
2699909	911 태러 개웃기넹 ㅋㅅㅋ [1]	♥순수퓨어냥덩♥	05.23	36	0
2699908	나는내향적이야 [1]	ㅇㅇ(223.39)	05.23	22	0
2699906	R입문하려고 하는데 질문 받아주세여 [1]	프갤러(175.212)	05.23	28	0
2699905	뉴비인데 코딩하는거 웰케 ㅈ같냐? [7]	ㅇㅇ(14.35)	05.23	77	0
2699904	오늘도 수고했어 [12]	멍청한유라ㅋ	05.23	63	0
2699903	지난 세월을 돌아보면 [4]	ㅎㅍㄴㅅ(61.98)	05.23	50	0
2699902	머리가 나쁘면 부지런하기라도 하던가 [5]	ㅇㅇ(223.38)	05.23	39	0
2699901	근데 맥북 퀄리티의 윈트북이 있냐? [3]	ㅇㅇ(223.38)	05.23	37	0
2699900	윈도우가 영업력은 ㅅㅌㅊ [1]	ㅇㅇ(223.38)	05.23	21	0
2699899	macos가 30퍼센트 이상이기만 했어도 [1]	프갤러(115.23)	05.23	29	0
2699898	오우.. 심상치 않은댕? [1]	♥순수퓨어냥덩♥	05.23	28	0
2699897	전기하는애들은 월300에 노동강도 ㅈㄴ약하던데 [3]	프갤러(115.23)	05.23	47	0
2699896	나님 순수함의 대표주자로서 불순수함을 배척한다 [6]	나트륨찡	05.23	29	0
2699895	음하라하난이제연봉6천이다아무도나를무시하지못한다 [9]	보법E노무현	05.23	53	0