디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

헌재게시판 여론 탄핵 반대: 1997, 탄핵 찬성: 82앱에서 작성

야갤러(106.102) 2024.12.19 18:59:24
조회 57 추천 0 댓글 0

import requests

from bs4 import BeautifulSoup

import transformers

import torch

from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments

from datasets import Dataset


train_data = {

'text': [

"탄핵반대 ! 생중계 찬성", "탄핵 결사 반대!!!!", "대통령 탄핵반대 재판 생중계 요청",

"탄핵 반대 생중계하라", "생중계", "탄핵 반대 탄핵찬성하는놈들 CIA 신고하자. 미국 못 간다.",

"윤석열대통령 탄핵반대", "간첩때려잡자", "탄핵 반대 내란죄는 국정을 마비시킨 민주당이다",

"존경하는 6인 재판관님 선거조작 선관위수사를 막지 마세요[탄핵기각]생중계촉구", "탄핵무효",

"존경하는 재판관님 탄핵찬성입니다", "탄핵 찬성입니다", "찬성합니다", "탄핵 찬성합니다.",

"내란수/괴 독재자 사형 탄핵!!!!!!!", "토종한국인은 윤정은의 탄핵 찬성"

],

'labels': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]

}


# Prepare the dataset

train_dataset = Dataset.from_dict(train_data)


# Load pre-trained KoBERT model and tokenizer

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # Check if GPU is available

tokenizer = BertTokenizer.from_pretrained('kykim/bert-kor-base')

model = BertForSequenceClassification.from_pretrained('kykim/bert-kor-base', num_labels=2).to(device) # Move model to GPU


# Tokenize the dataset

def tokenize_function(examples):

return tokenizer(examples['text'], padding='max_length', truncation=True)


train_dataset = train_dataset.map(tokenize_function, batched=True)


# Training arguments

training_args = TrainingArguments(

output_dir='./results',

num_train_epochs=3,

per_device_train_batch_size=8,

evaluation_strategy="no",

logging_dir='./logs',

logging_steps=10,

)


# Trainer setup

trainer = Trainer(

model=model,

args=training_args,

train_dataset=train_dataset,

)


# Fine-tuning the model

trainer.train()


# Base URL for the site


anti_count = 0

pro_count = 0

# Initialize a list to store the last 10 titles

recent_titles = []


# Example function for classification

def classify_title(title):

inputs = tokenizer(title, return_tensors="pt", truncation=True, padding=True, max_length=128).to(device) # Move inputs to GPU

with torch.no_grad():

outputs = model(**inputs)

prediction = torch.argmax(outputs.logits, dim=-1).item()

return "찬성" if prediction == 1 else "반대"


# Loop through the first 1000 pages

for page in range(1, 1001):

if (page % 10) == 0:

print(f"{page}페이지까지 분석 | 탄핵 반대: {anti_count}, 탄핵 찬성: {pro_count}")

url = base_url.format(page)

response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')


# Find all rows containing title

rows = soup.select('table tbody tr')


# Extract and count titles

for row in rows:

title = row.select_one('td:nth-child(2)').text.strip()


# Skip the title if it matches any of the last 10 titles

if title in recent_titles:

# print("중복된 title 무시")

continue

# Add the current title to the list of recent titles

recent_titles.append(title)

if len(recent_titles) > 10:

recent_titles.pop(0) # Remove the oldest title if we have more than 10


label = classify_title(title)

if label == "반대":

anti_count += 1

elif label == "찬성":

pro_count += 1


print(f"탄핵 반대: {anti_count}, 탄핵 찬성: {pro_count}")

​실명 인증 든든하다 ㅋㅋㅋㅋ

- dc official App

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 여론 선동에 잘 휘둘릴 것 같은 스타는? 운영자 24/12/16 - -
16011840 스브스왜왓노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 43 0
16011839 내 첫 대통령이 김대중이었는데 이명박이 Goat같다 야갤러(112.164) 12.19 22 0
16011837 찐준줄알겟노 ㅅㅂㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 33 0
16011836 사기꾼에대한 신상공개가 필요하다 ㅋㅋㅋㅋㅋㅋㅋ 손발이시립디다갤로그로 이동합니다. 12.19 27 0
16011835 황교안 이 틀딱새끼 거짓이 진실을 이길것입니다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [2] ㅇㅇ(223.39) 12.19 84 0
16011834 착장풀세트 ㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 36 0
16011833 정보, 실베추 요청) CIA에 보내는 신고글 쓰는 법 알려준다 [1] 야갤러(220.76) 12.19 53 1
16011832 중국인 윤석열탄핵 참가했다 ㅇㅇ(211.235) 12.19 45 0
16011831 범죄수익 수수죄 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 손발이시립디다갤로그로 이동합니다. 12.19 32 1
16011830 근데 잦돌 서태지 노래 존나 반갑고 좋네 ㅇㅇ(106.101) 12.19 32 0
16011829 선물머노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 25 0
16011828 시키지도않앗는데자동으로 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 24 0
16011827 한국은 그냥 나라 자체가 별로임 [2] ㅇㅇ갤로그로 이동합니다. 12.19 44 1
16011826 일말의 염치죠 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 손발이시립디다갤로그로 이동합니다. 12.19 30 0
16011825 르르땅 라스트 오브 어스는 안 할 건가 [1] 주르르좋아갤로그로 이동합니다. 12.19 44 0
16011824 길바닥에서 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 30 0
16011823 붕대언제꼇노 ㅅㅂㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 30 0
16011822 잦돌때 스브스 봐라 ㅇㅇ(106.101) 12.19 57 0
16011821 중학교 올라가면 이불차겠노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 33 0
16011820 혈서 ㅅㅂ ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 31 0
16011819 야극기 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 32 0
16011818 르르땅 세구가 오늘 한 곰보겜 할 건가 주르르좋아갤로그로 이동합니다. 12.19 33 0
16011817 펄ㅡ럭 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 30 0
16011816 홍싼체는 화제성이없노 ㅋㅋㅋㅋㅋ ㅇㅇ(118.235) 12.19 18 0
16011815 속보)민주당의 지역화폐는 중국과 깊은연관성이 있다 ㅇㅇ(114.30) 12.19 60 2
16011814 아오 잦돌파티 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 야갤러(112.157) 12.19 19 0
16011813 50년뒤에 김어준이 받게될 평가 야갤러(118.235) 12.19 58 0
16011812 문파들도 CIA에 신고하고 싶노ㅋㅋㅋㅋㅋ [1] ㅇㅇ(223.39) 12.19 56 2
16011811 손가락 ㅈㄴ웃기네 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 40 0
16011810 손가락이 ㅈㄴ웃기노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 33 0
16011809 황교안: 부정선거 부정하는 새끼들 누구든 다 와라 [1] ㅇㅇ(121.101) 12.19 72 8
16011808 떴냐"? ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 야갤러(211.176) 12.19 49 2
16011806 본채만채 ㅋㅋㅋ ㅇㅇ(122.35) 12.19 16 0
16011805 외질혜 극단적시도 ㅇㅇ(211.235) 12.19 65 1
16011804 일뽕틀구이들 스브스 게시판 테러ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 36 0
16011803 만채 ㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(59.22) 12.19 19 0
16011802 만채 어흐 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 야갤러(112.157) 12.19 16 0
16011800 부정선거 증거 아직도 안나왔냐 [1] ㅇㅇ(223.39) 12.19 53 0
16011799 엉덩이 춤ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 호컬지갤로그로 이동합니다. 12.19 23 0
16011798 15가지의죄 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 22 0
16011797 죽는다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 손발이시립디다갤로그로 이동합니다. 12.19 19 0
16011796 만채야 검스뭐노. ㅇㅇ갤로그로 이동합니다. 12.19 46 0
16011795 따죽여 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 30 0
16011794 만채다만챜ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 호컬지갤로그로 이동합니다. 12.19 22 0
16011793 대성 하이맥 ㅋㅋㅋ ㅇㅇ(122.35) 12.19 14 0
16011792 애미보다좋아 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 27 0
16011791 홍만채 ㅋㅋㅋㅋㅋ ㅇㅇ(121.190) 12.19 26 1
16011790 하얼빈 십 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 42 0
16011789 솔직히 시위 참가하는 중국인들 걍 개웃김 ㅋㅋㅋㅋ ㅇㅇ(211.234) 12.19 24 0
16011788 야순이 야벅지 보고 ㅇㅇ(137.184) 12.19 39 0
뉴스 블랙핑크, 2024년 12월 아이돌그룹 브랜드평판 1위 디시트렌드 12.19
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2