디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

헌재게시판 여론 탄핵 반대: 1997, 탄핵 찬성: 82앱에서 작성

야갤러(106.102) 2024.12.19 18:59:24
조회 49 추천 0 댓글 0

import requests

from bs4 import BeautifulSoup

import transformers

import torch

from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments

from datasets import Dataset


train_data = {

'text': [

"탄핵반대 ! 생중계 찬성", "탄핵 결사 반대!!!!", "대통령 탄핵반대 재판 생중계 요청",

"탄핵 반대 생중계하라", "생중계", "탄핵 반대 탄핵찬성하는놈들 CIA 신고하자. 미국 못 간다.",

"윤석열대통령 탄핵반대", "간첩때려잡자", "탄핵 반대 내란죄는 국정을 마비시킨 민주당이다",

"존경하는 6인 재판관님 선거조작 선관위수사를 막지 마세요[탄핵기각]생중계촉구", "탄핵무효",

"존경하는 재판관님 탄핵찬성입니다", "탄핵 찬성입니다", "찬성합니다", "탄핵 찬성합니다.",

"내란수/괴 독재자 사형 탄핵!!!!!!!", "토종한국인은 윤정은의 탄핵 찬성"

],

'labels': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]

}


# Prepare the dataset

train_dataset = Dataset.from_dict(train_data)


# Load pre-trained KoBERT model and tokenizer

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # Check if GPU is available

tokenizer = BertTokenizer.from_pretrained('kykim/bert-kor-base')

model = BertForSequenceClassification.from_pretrained('kykim/bert-kor-base', num_labels=2).to(device) # Move model to GPU


# Tokenize the dataset

def tokenize_function(examples):

return tokenizer(examples['text'], padding='max_length', truncation=True)


train_dataset = train_dataset.map(tokenize_function, batched=True)


# Training arguments

training_args = TrainingArguments(

output_dir='./results',

num_train_epochs=3,

per_device_train_batch_size=8,

evaluation_strategy="no",

logging_dir='./logs',

logging_steps=10,

)


# Trainer setup

trainer = Trainer(

model=model,

args=training_args,

train_dataset=train_dataset,

)


# Fine-tuning the model

trainer.train()


# Base URL for the site


anti_count = 0

pro_count = 0

# Initialize a list to store the last 10 titles

recent_titles = []


# Example function for classification

def classify_title(title):

inputs = tokenizer(title, return_tensors="pt", truncation=True, padding=True, max_length=128).to(device) # Move inputs to GPU

with torch.no_grad():

outputs = model(**inputs)

prediction = torch.argmax(outputs.logits, dim=-1).item()

return "찬성" if prediction == 1 else "반대"


# Loop through the first 1000 pages

for page in range(1, 1001):

if (page % 10) == 0:

print(f"{page}페이지까지 분석 | 탄핵 반대: {anti_count}, 탄핵 찬성: {pro_count}")

url = base_url.format(page)

response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')


# Find all rows containing title

rows = soup.select('table tbody tr')


# Extract and count titles

for row in rows:

title = row.select_one('td:nth-child(2)').text.strip()


# Skip the title if it matches any of the last 10 titles

if title in recent_titles:

# print("중복된 title 무시")

continue

# Add the current title to the list of recent titles

recent_titles.append(title)

if len(recent_titles) > 10:

recent_titles.pop(0) # Remove the oldest title if we have more than 10


label = classify_title(title)

if label == "반대":

anti_count += 1

elif label == "찬성":

pro_count += 1


print(f"탄핵 반대: {anti_count}, 탄핵 찬성: {pro_count}")

​실명 인증 든든하다 ㅋㅋㅋㅋ

- dc official App

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 여론 선동에 잘 휘둘릴 것 같은 스타는? 운영자 24/12/16 - -
16013384 뉴진스는 다르게 명곡만 나오노 ㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 18 0
16013381 강영민어딧노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 11 0
16013380 생전 마지막 공연 ㅋㅋ ㅇ_ㅇ(180.83) 12.19 10 0
16013379 엠넷도 일본어로 안부른다 ㅇㅇ(106.101) 12.19 19 0
16013377 진스 거르고 진즈 ㅇㅈㄹㅋㅋㅋㅋ ㅇㅇ(106.101) 12.19 12 0
16013378 뉴진스 팬층 나잇대 성별 ㄹㅇ 다양하노 ㅋㅋㅋ ㅇㅇ(110.70) 12.19 18 0
16013376 해린아 응옥아 나죽어 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(118.41) 12.19 24 0
16013375 뉴진즈 ㅋㅋ [1] ㅇㅇ갤로그로 이동합니다. 12.19 45 0
16013373 &#9999 솔라나 20만원어치 에어드랍중 (1월 1일 출금) ㅇㅇ(39.7) 12.19 18 0
16013372 대한민국 방송에서 보는 마지막 모습 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [1] 야갤러(211.234) 12.19 117 8
16013371 고별무대네 ㅠㅠ 야갤러(61.43) 12.19 15 0
16013370 이수연을소개한게 강영민 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 16 0
16013369 아니 뉴진스고 아이유고 보수 세력이 쟤네 못팸 ???? ㄱㅁㄴㅇ(112.169) 12.19 36 0
16013368 근데 확실히 스테이씨가 존나 이쁜거였네 ㅋㅋㅋ [1] 빼뱀뺌빼배뱀갤로그로 이동합니다. 12.19 35 0
16013367 되돌아가긴 싫어ㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 18 0
16013366 버장연들 무대끝나면 악플달러가겠노 ㅋㅋㅋㅋ ㅇㅇ(211.107) 12.19 16 0
16013365 중매 ㅅㅂ ㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 17 0
16013364 개인 총기소지를 금지하면 벌어지는 일 ㅇㅇ(125.191) 12.19 28 0
16013363 골드문 다이몬스탈 ㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 7 0
16013362 잘챙겨줫어요 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 13 0
16013361 재앙이 카레국 테러 어케했노? ㅇㅇ(59.19) 12.19 18 0
16013360 @@@@아이유 동생 미국유학중이라는데@@@@ [1] ㅇㅇ(39.125) 12.19 26 0
16013359 일본어로 안부르농 ㅋㅋ ㅇㅇ(112.157) 12.19 16 0
16013358 개추좀) 개혁신당 라보차량, 불법튜닝 벌금형 선고됨 [1] ㅇㅇ(118.235) 12.19 25 0
16013357 경태씨가일한인쇄소 ㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 13 0
16013355 모이시떼루 ㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 8 0
16013354 머전 인쇄소 운영 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 16 0
16013353 기싸움 존나 웃기네 ㅋㅋㅋ ㅇㅇ(39.113) 12.19 12 0
16013352 ㄹㅇ은퇴무대노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(211.107) 12.19 13 0
16013351 ses 생각나노 ㅋ ㅇㅇ(106.101) 12.19 23 0
16013350 뉴OO 사실상 마지막 무대 ㅋㅋㅋ ㅇ_ㅇ(180.83) 12.19 13 0
16013349 내심박수를 믿어 ㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 6 0
16013348 내연남이누 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 14 0
16013347 모시떼이루ㄲㅋㅋㅋㅋ 야갤러(124.56) 12.19 7 0
16013346 응옥아 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(118.41) 12.19 12 0
16013345 이대남 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 14 0
16013344 뉴진스는 모르겠고 서성은다이스키짱짱맨(1.176) 12.19 41 1
16013343 Hype boy하지 ㅇㅇ(211.234) 12.19 15 0
16013342 해린아 ㅋㅋㅋㅋ 빼뱀뺌빼배뱀갤로그로 이동합니다. 12.19 20 0
16013341 완전 영화 아니냐 ㅋㅋㅋ ㅇㅇ(124.111) 12.19 13 0
16013339 코퍼내추럴ㅋㅋ ㄱㄴ(175.117) 12.19 10 0
16013338 이게 걸그룹이다 ㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 9 0
16013337 ㄷ두현장에 다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [1] ㅇㅇ갤로그로 이동합니다. 12.19 16 0
16013336 “‘한동훈 암살조’ 허위” 보고서 낸 민주 박선원 김어준 유튜브서 사과… 야갤러(14.46) 12.19 48 1
16013335 ??? 햇던 노래 아니냐 구분이 안됨ㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 16 0
16013334 갓퍼내추럴 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(222.236) 12.19 8 0
16013333 부정선거수사 국민청원! 동의와 공유 한번씩 해주시면 감사드리겠습니다!! dfei3291갤로그로 이동합니다. 12.19 25 2
16013332 하니야 하앙 ㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(59.22) 12.19 9 0
16013331 일본 오리콘 초동 3만8천장 노래 입갤 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(210.178) 12.19 11 0
16013330 울진스 마지막 불꽃ㅋㅋㅋㅋㅋ ㅇㅇ(106.101) 12.19 14 0
뉴스 블랙핑크, 2024년 12월 아이돌그룹 브랜드평판 1위 디시트렌드 12.19
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2