디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

[일반] 인류의 마지막 시험 AI 모델들 벤치마킹 결과

시타갤로그로 이동합니다. 2025.01.27 15:05:10
조회 57 추천 1 댓글 0
														


AI 모델들을 벤치마킹하기 위해 출제된, "Humanity's Last Exam"이라는, 이름은 거창하지만 "그리스 신화에서 이아손의 외종조부는 누구인가?" 따위의 문항들도 포함되어 있는 3,000개의 문항 중 일부와 벤치마킹 결과가 공개되었다. 인문학/사회과학 문항은 전체 문항의 8%이다. 수학 문항은 무려 42%를 차지한다.

뉴욕 타임스의 관련기사
https://www.nytimes.com/2025/01/23/technology/ai-test-humanitys-last-exam.html

관련 논문
https://www.openread.academy/en/paper/reading?corpusId=517356081

공개된 문항들
https://huggingface.co/datasets/cais/hle


벤치마킹 결과 



7e3102da6e00fc2ab7475c67c65bf7e155817b3c09ff4eab006457feae92320000


7e3102da6e00fc2ab7475c67c65bf7e156817b3c09ff4eab006457f7a0903507




추천 비추천

1

고정닉 0

1

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 말머리 제목 글쓴이 작성일 조회 추천
2981 설문 가수에서 배우로 전향 했지만 기대에 못 미치는 스타는? 운영자 25/02/24 - -
836347 일반 이번 트럼프 당선으로 민주주의와 법조인 정치는 종결될듯 [1] 러갤러(39.7) 01.28 53 2
836346 일반 미국행님이란 애 아버지가 이렇게 생겼던데 [1] 조선인 참수 운동(223.38) 01.28 46 0
836344 일반 다른나라는 왕이상징성강한대 영국만 왜 여왕이 상징성 강함? 러갤러(175.127) 01.28 27 0
836343 일반 똥꼬 섹스 하고싶다 국민의힘 지지자(223.38) 01.28 50 0
836341 일반 미국넘들도 알고 트럼프 뽑은겨 러갤러(211.36) 01.27 64 2
836339 일반 시총충들 뭐해? 나스닥 시총 600조 증발 [1] 러갤러(211.36) 01.27 67 2
836337 일반 러우전 끝나면 러시아 우크라 가서 여자 만나려고 [2] ㅇㅇ(124.49) 01.27 70 0
836335 일반 AI는 러중이 유리할수밖에 없음 [1] ㅇㅇㅇ(218.238) 01.27 83 0
836333 일반 간첩 케말 박신우를 화형 시키면 천국 간다. [1] 냠냠꾼(77.111) 01.27 26 0
836332 일반 케말 박신우를 화형 시키면 천국 간다. [2] 냠냠꾼(77.111) 01.27 31 3
836329 일반 부정선거 투표지 100장 증거들과 왜더카르텔 원본영상 구글 드라이브 a1 [1] ㅇㅇ갤로그로 이동합니다. 01.27 66 1
836328 일반 야순이 가슴이 넘 아포ㅠㅠ 호해줘 현서릴즈갤로그로 이동합니다. 01.27 42 0
836327 일반 트빠들은 객관성이 없음 [2] ㅇㅇㅇ(218.238) 01.27 63 0
836326 일반 케말이, hospitaller = 북괴의 남파간첩 냠냠꾼(77.111) 01.27 31 0
836324 일반 I love china ㅇㅇ(118.235) 01.27 35 0
836322 일반 성경을 읽으면 진리를 찾을수있다 ㅇㅇ(118.235) 01.27 22 0
836321 일반 기억해라 모든 금융시스템은 유대인이 만든 사기다 ㅇㅇ(118.235) 01.27 42 0
836320 일반 케말파샤님 말 듣고 천국가라 ㅇㅇ(118.235) 01.27 22 0
836319 일반 AI가 왜 돈이됨? [3] ㅇㅇ(211.105) 01.27 58 0
836318 일반 자궁 차렷 !!!!!!!! ㅇㅇ(118.235) 01.27 33 0
836317 일반 ㅇㅇ(118.235) 01.27 20 0
836316 일반 봉지 ㅇㅇ(118.235) 01.27 21 0
836315 일반 느금마 ㅇㅇ(118.235) 01.27 21 0
836313 일반 중국이 미래다 [1] ㅇㅇ(121.163) 01.27 31 1
836312 일반 BYD VS 현대차 일본에서 붙어보니... [1] ㅇㅇ(118.235) 01.27 77 2
836311 일반 케말이, hospitaller = 북괴의 남파간첩 [1] 냠냠꾼(77.111) 01.27 20 0
836309 일반 하나님 안믿으면 지옥간다 냠냠꾼 시발련아 ㅇㅇ(118.235) 01.27 16 0
836308 일반 하나님 안믿으면 지옥간다 냠냠꾼 시발련아 ㅇㅇ(118.235) 01.27 17 0
836307 일반 하나님 안믿으면 지옥간다 냠냠꾼 시발련아 ㅇㅇ(118.235) 01.27 24 0
836306 일반 하나님 안믿으면 지옥간다 냠냠꾼 시발련아 ㅇㅇ(118.235) 01.27 18 0
836305 일반 하나님 안믿으면 지옥간다 냠냠꾼 시발련아 ㅇㅇ(118.235) 01.27 16 0
836304 일반 종교한테 세뇌당하면 호스피탈러가 되는거임 러갤러(39.7) 01.27 32 0
836302 일반 대한민국 최악의 팬덤 두개 ㅇㅇ갤로그로 이동합니다. 01.27 43 2
836301 일반 한국에있는 화교숫자 ㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷ [1] ㅇㅇ(121.163) 01.27 56 0
836295 일반 일본여자는 ‘남자력’이 높은 한국남자를 좋아합니다 [13] 배터리형갤로그로 이동합니다. 01.27 788 15
836293 일반 시진핑 : 여자는 집에서 애나 낳아라 ㅇㅇ(118.235) 01.27 49 0
836292 일반 한국차는 경쟁도안되는 저렴한 BYD 차량 ㅇㅇ(118.235) 01.27 52 1
836291 일반 민주당이 답이다 하프앤하프갤로그로 이동합니다. 01.27 74 5
836290 일반 우크라이나 동부전선 뚫릴 위기, 트럼프가 안먹혔다 [16] 배터리형갤로그로 이동합니다. 01.27 1009 14
836289 일반 세상에서 가장 똑똑한 한국인이면 개추 ㅇㅇ갤로그로 이동합니다. 01.27 46 0
836287 일반 케말이, hospitaller = 북괴의 남파간첩 [1] 냠냠꾼(77.111) 01.27 26 0
836286 일반 사기탄핵 냠냠꾼(77.111) 01.27 26 1
836285 일반 중국어 배우고있다 [1] ㅇㅇ(118.235) 01.27 43 1
836283 일반 PPP>>GDP임 ㅇㅇ [3] ㄹㄹ(14.56) 01.27 92 3
836279 일반 세상엔 비밀이 많아 Hospitaller갤로그로 이동합니다. 01.27 27 0
836275 일반 군주제 없는 나라는 애비가 없는 나라 케말파샤갤로그로 이동합니다. 01.27 26 0
836273 일반 밑에 국가경제와 러시아 여자들 매춘 얘기가 나와서 말인데 러갤러(211.36) 01.27 73 2
836269 일반 오호 Hospitaller갤로그로 이동합니다. 01.27 19 0
836268 일반 야 시발..이럴때가 아니네..전황 다시 봐야 겠다 미국행님(175.127) 01.27 49 0
836267 일반 트럼프가 전황 파악하고 휴전제안 하는거 맞냐? [2] 미국행님(175.127) 01.27 90 0
뉴스 [인터뷰②] ‘춘화연애담’ 고아라 “화리 캐릭터 연기하며 내 어린 시절도 떠올라” 디시트렌드 10:00
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2