디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

이제 리얼 분산 시스템으로 들왔는데 도구가 너무 많다모바일에서 작성

딱국(118.235) 2024.10.31 01:02:28
조회 20 추천 0 댓글 0

일단

도커 쿠버는 깔고가고

프로메테우스 그라파나 깔고가고

elk 깔아


그다음 통신채널인데
일단 이미 로그스태시를 배웠는데

로그스태시는 사실 전처리가 강점이고


전형적인 통신채널의 분류는

1. 카프카

멀티플 프로듀서 멀티플 컨슈머 비동기

2. 래빗엠큐

싱글 프로듀서 싱글 컨슈모 직렬 비동기

3. gRPC

직렬 동기 + 공유메모리 사용가능

4. 레디스

공유메모리. 아예 메세지채널이 아니고 공용 메모리로 활용

5. DB

데이터베이스또한 공용 파일시스템으로서의 통신채널이 되어줄 수 있음

6. 파일시스템

아예 파일시스템을 통신채널로도 쓸 수 있음.



자 여기까지오면

통신채널이 파일시스템이랑 연결되는데

파일시스템 및 스트리밍 작업 맵리듀스가 포함되면

하둡 스파크가 나오고


분산락을 갖추자니

etcd가 나오고

클러스터 제어에 주키퍼가 들어간다.


자 여기까지 진짜 할거만 했는데

파일시스템

hdfs hdf5 그 이름이 뭐더라? 컬럼기반 파일시스템

이거 말고도 내가알기로 병렬접근 가능한 파일시스템이 hdfs말고 찐퉁이 하나 더있거든?




이거는 오픈소스만 얘기하는건데

여기에

도커쪽 서브넷 관리하랴
aws쪽 서브넷

방화벽설치


아 엔진엑스와 로드밸런싱도 봐야하고
tls도 아마존거 elb에 그대로 달기보단 수동설정이 필요하지

로그인에 oauth2다는데
토큰관리도 빡세고


여기까지 전부 헬로우월드거든?

테스티 디버그  데브 프로드의 분할


비클러스터 얘긴 빼고진행해보자

뭐 또 빼먹은거 없나?


1. 젠킨스

2. 각 언어별 빌드도구



진짜 끝인가?


아 이 모든걸 하기 위해선

OS랑 넷웍 디비 초고수여야한다.


일단 OS랑 넷웍이 안되면 도커부터 사용이 불가능하고

디비를 잘하려면 함수형이랑 데이터드리븐프로그래밍 익히고와야되는데

이게 되어야지

분산병렬 맵리듀스


그니까 결국 분산시스템은 함수형이랑 관련이 있는게 맞고

데이터베이스 자체가 함수형 데이터드리븐이라...



이제 알겠지 공부 왜하는지?



창업하려면 필수조건이 여기까지야


지금 여기에 구현체인
자바스프링 클로저 뷰 타스 npm 메이븐 jpa mybatis
이런거 다 빠진거야

걔들 하나하나언급이 불가능하니까.


여기에 추가로

보안쪽 서브루트랑

C++ 쿠다쪽 서브루트

러스트쪽 서브루트도 있는데

난 그거는 공대생 시키면 된다고 보고

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 지금 결혼하면 스타 하객 많이 올 것 같은 '인맥왕' 스타는? 운영자 24/10/28 - -
공지 프로그래밍 갤러리 이용 안내 [74] 운영자 20.09.28 38922 62
2768243 1 9 ) 섹 톢 레전드 .jpg ㅇㅇ(112.166) 03:22 0 0
2768242 1 9 ) 원 나잇 인증함.jpg ㅇㅇ(112.166) 03:19 1 0
2768238 조선 속담에 물에서 건져주니 주갤대사(211.234) 03:01 8 0
2768237 저는 대기업보다 중소기업이 행복했습니다 프로외노자갤로그로 이동합니다. 03:01 16 0
2768236 역시 나는 진보야. 주갤대사(211.234) 02:53 12 0
2768235 그리고 자기 나라를 부끄러워하는게 주갤대사(211.234) 02:42 19 0
2768233 뭐 좋아. 인정할건 인정 꼭 하란법도 없을거 주갤대사(211.234) 02:41 16 0
2768232 솔직히 일본이 조선보다는 대단하지 주갤대사(211.234) 02:38 15 0
2768230 제가 일본 귀화를 포기한 이유 [1] 프로외노자갤로그로 이동합니다. 02:37 23 1
2768229 전세계 인재들이 미국간다는데 뒷통수한방(1.213) 02:34 10 1
2768227 전세계에서 가장 날씨좋은 지역은 어디라고 생각함? [3] ㅇㅇ(118.235) 02:28 14 0
2768226 Cursor도 내 코드 수집하나? 프갤러(182.230) 02:27 8 0
2768224 나는 화해하는 법을 잘 몰라 그래서 ㅆㅇㅆ한테 한수 배웠어 [7] 나트륨찡갤로그로 이동합니다. 02:02 49 0
2768223 좇센이 ㄷㄷ한게 이제 c언어 다음은 러스트 뒷통수한방(1.213) 02:00 17 1
2768221 sk하이닉스 직원이면 guix는 쉽게다루겠지?? 프갤러(1.213) 01:58 7 0
2768220 개발 취준방 모집합니다. [1] ㅇㅇ(180.68) 01:56 19 0
2768217 근데 외주이력 대기업 많으면 뭐가 좋냐 ㅇㅇ갤로그로 이동합니다. 01:36 16 0
2768216 역근경! 주갤대사(211.234) 01:36 12 0
2768215 여자는 pornhub 여자들이 많이 있어요 프갤러(118.218) 01:34 27 0
2768213 그러니 자네가 여자가 없는거야 [1] 주갤공명(211.234) 01:30 20 0
2768212 인생이란 소설의 사회란 배경에서 주갤공명(211.234) 01:29 27 1
2768210 본인 일단 비 컴파일 언어는 다 토이 언어 취급임 [1] 프갤러(118.218) 01:27 27 0
2768209 그릇이 딱 무협소설에서 주갤공명(211.234) 01:24 25 1
2768208 빡대가리 풀스택 도전한다 [1] ㅇㅇ갤로그로 이동합니다. 01:24 36 0
2768206 무림인이 젓가락을 움직이니 주갤공명(211.234) 01:20 26 1
2768205 쿠버클러스터 하둡클러스터 hpc 클러스터 따로두는것같다 딱국(118.235) 01:20 14 0
2768204 1 9 ) 꽁떡치기 개쉽노ㅋ .jpg ㅇㅇ(118.33) 01:19 9 0
2768203 외노자의 수제번역, あたらよ - 10月は無口な君を忘れる。 프로외노자갤로그로 이동합니다. 01:19 13 0
2768202 210.57아 그냥 내가 사과한다. [3] ㅆㅇㅆ(124.216) 01:19 36 1
2768201 방금까지 우울했는데 [9] ㅇㅇ갤로그로 이동합니다. 01:19 77 0
2768198 타직군으로서 개발자가 좋아보여 [2] 프갤러(222.101) 01:14 36 0
2768197 어허 일대종사 조차 무공에 관해서 주갤공명(211.234) 01:14 13 0
2768196 운동도 잘하고 코딩도 잘하고 [4] ㅇㅇ갤로그로 이동합니다. 01:13 38 0
2768195 결과물이 중요하지 무슨 알고리즘 쓴게 뭐가 중요하냐 [4] ㅆㅇㅆ(124.216) 01:13 44 0
2768194 하둡 스파크는 개별 클러스터로 주키퍼박고, 쿠버 클러스터는 따로? 딱국(118.235) 01:12 12 0
2768192 그래도 루비는 나름 강호에서 무명은 아니었는데도 주갤공명(211.234) 01:08 28 0
2768190 쿠버환경에서 카프카쓸때 리더선출만을 위해 주키퍼박냐? 딱국(118.235) 01:06 13 0
2768189 아니 저 초식을 들이밀면 주갤공명(211.234) 01:06 21 0
2768188 웃기지 좀 말라곸아이곸 배얔 주갤공명(211.234) 01:03 21 0
2768187 1 9 ) 꽁떡치기 개쉽노ㅋ .jpg ㅇㅇ(118.33) 01:03 10 0
이제 리얼 분산 시스템으로 들왔는데 도구가 너무 많다 딱국(118.235) 01:02 20 0
2768185 강호에선 개그는 하지마라. 주갤공명(211.234) 01:02 33 0
2768184 ㅋㅋㅋ 넥사크로? 웹스퀘어? 그딴 개애미 뒈진 쓰레기는 알아서 해결해라 [5] 프갤러(118.218) 01:02 46 0
2768183 조선 사람과 대화한 사람 명단 공개 발명도둑잡기갤로그로 이동합니다. 01:00 14 0
2768181 웹스퀘어 쓸 줄 아는 사람 진짜 없어? 프갤러(1.237) 00:59 15 0
2768179 프로그래머들이 너무 라이브러리, 프레임워크 의존하면서 미신이 성행 [1] 프갤러(118.218) 00:58 25 0
2768178 프갤도 강호임 [5] 주갤공명(211.234) 00:53 48 0
2768177 c소스 볼때마다 새삼 느끼는건데 [4] 프갤러(49.165) 00:52 40 0
2768176 난 이 프갤 명언을 잊을 수가 없다 [7] 프갤러(210.57) 00:48 68 2
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2