디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

헌재게시판 여론 탄핵 반대: 1997, 탄핵 찬성: 82앱에서 작성

야갤러(106.102) 2024.12.19 18:59:24
조회 54 추천 0 댓글 0

import requests

from bs4 import BeautifulSoup

import transformers

import torch

from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments

from datasets import Dataset


train_data = {

'text': [

"탄핵반대 ! 생중계 찬성", "탄핵 결사 반대!!!!", "대통령 탄핵반대 재판 생중계 요청",

"탄핵 반대 생중계하라", "생중계", "탄핵 반대 탄핵찬성하는놈들 CIA 신고하자. 미국 못 간다.",

"윤석열대통령 탄핵반대", "간첩때려잡자", "탄핵 반대 내란죄는 국정을 마비시킨 민주당이다",

"존경하는 6인 재판관님 선거조작 선관위수사를 막지 마세요[탄핵기각]생중계촉구", "탄핵무효",

"존경하는 재판관님 탄핵찬성입니다", "탄핵 찬성입니다", "찬성합니다", "탄핵 찬성합니다.",

"내란수/괴 독재자 사형 탄핵!!!!!!!", "토종한국인은 윤정은의 탄핵 찬성"

],

'labels': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]

}


# Prepare the dataset

train_dataset = Dataset.from_dict(train_data)


# Load pre-trained KoBERT model and tokenizer

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # Check if GPU is available

tokenizer = BertTokenizer.from_pretrained('kykim/bert-kor-base')

model = BertForSequenceClassification.from_pretrained('kykim/bert-kor-base', num_labels=2).to(device) # Move model to GPU


# Tokenize the dataset

def tokenize_function(examples):

return tokenizer(examples['text'], padding='max_length', truncation=True)


train_dataset = train_dataset.map(tokenize_function, batched=True)


# Training arguments

training_args = TrainingArguments(

output_dir='./results',

num_train_epochs=3,

per_device_train_batch_size=8,

evaluation_strategy="no",

logging_dir='./logs',

logging_steps=10,

)


# Trainer setup

trainer = Trainer(

model=model,

args=training_args,

train_dataset=train_dataset,

)


# Fine-tuning the model

trainer.train()


# Base URL for the site


anti_count = 0

pro_count = 0

# Initialize a list to store the last 10 titles

recent_titles = []


# Example function for classification

def classify_title(title):

inputs = tokenizer(title, return_tensors="pt", truncation=True, padding=True, max_length=128).to(device) # Move inputs to GPU

with torch.no_grad():

outputs = model(**inputs)

prediction = torch.argmax(outputs.logits, dim=-1).item()

return "찬성" if prediction == 1 else "반대"


# Loop through the first 1000 pages

for page in range(1, 1001):

if (page % 10) == 0:

print(f"{page}페이지까지 분석 | 탄핵 반대: {anti_count}, 탄핵 찬성: {pro_count}")

url = base_url.format(page)

response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')


# Find all rows containing title

rows = soup.select('table tbody tr')


# Extract and count titles

for row in rows:

title = row.select_one('td:nth-child(2)').text.strip()


# Skip the title if it matches any of the last 10 titles

if title in recent_titles:

# print("중복된 title 무시")

continue

# Add the current title to the list of recent titles

recent_titles.append(title)

if len(recent_titles) > 10:

recent_titles.pop(0) # Remove the oldest title if we have more than 10


label = classify_title(title)

if label == "반대":

anti_count += 1

elif label == "찬성":

pro_count += 1


print(f"탄핵 반대: {anti_count}, 탄핵 찬성: {pro_count}")

​실명 인증 든든하다 ㅋㅋㅋㅋ

- dc official App

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 여론 선동에 잘 휘둘릴 것 같은 스타는? 운영자 24/12/16 - -
16012686 프링글스 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 21 0
16012687 틀구이들이 사는 세상 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [1] 야갤러(39.125) 12.19 46 2
16012685 병신같은 좆소내에 정치질하는거 역겹네 ㅋㅋㅋㅋ 야갤러(122.153) 12.19 13 0
16012684 쪽성주 ㅋㅋㅋㅋ 빼뱀뺌빼배뱀갤로그로 이동합니다. 12.19 15 0
16012682 맥날 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 26 0
16012681 앰창민 ㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 33 0
16012680 야순이 뷰지인증 함 응우엔 공산당 딱가리들아 삭제하지마라 게이씹놈들아 야갤러(117.111) 12.19 80 0
16012679 콘드로이친 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 27 0
16012678 스시녀들 라이즈 존나 조아하노 ㅇㅇ(106.101) 12.19 50 1
16012677 갓이즈 ㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(118.235) 12.19 18 0
16012676 한컴ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 32 0
16012675 뭔 상금이 3억이냐 ㅋㅋㅋㅋ 빼뱀뺌빼배뱀갤로그로 이동합니다. 12.19 23 0
16012674 민희진 ㅇㅇ(106.101) 12.19 55 0
16012673 틀구이들 이거 설명가능?ㅋㅋㅋㅋㅋㅋㅋㅋ [3] 야갤러(39.125) 12.19 69 3
16012671 올영ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 29 0
16012670 밀크티 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 36 0
16012669 최순실 재산 많이 숨겨진듯 야갤러(222.96) 12.19 33 0
16012668 추천시 윤석열 고통스럽게 사망 [2] ㅇㅇ(106.101) 12.19 45 1
16012666 빻태리 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 31 0
16012665 살인설계자 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 40 0
16012664 윤카 용산에서 ㅇㅇ(106.101) 12.19 51 0
16012663 꼬꼬무입갤 ㅇㅇ(180.66) 12.19 16 0
16012662 중국유학생 싹다 간첩이다 [1] ㅇㅇ(210.121) 12.19 31 3
16012661 꼬꼬무 야프닝 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 37 0
16012660 북한하고 통일되는 길밖에 없다.. [5] ㅇㅇ(124.51) 12.19 59 0
16012657 속보) 시체 팔이를 넘은 시체 리셀 중ㅋㅋㅋ [1] 야갤러(59.5) 12.19 151 9
16012656 근데 CIA 신고 운동 누가 처음에 시작한거임? [2] 야갤러(118.235) 12.19 97 0
16012654 야붕이 뇌건강을 위한 조깅 후 집 가는 중 ㅇㅇ(106.101) 12.19 53 0
16012652 야순이 벗었어 ㅇㅇ(106.101) 12.19 182 2
16012650 짱깨 혐한이 진짜 음흉하다 야갤러(121.127) 12.19 28 0
16012649 유나봉쓰 인질극 언제 끝나냐 [1] ㅇㅇ(221.152) 12.19 76 0
16012648 근데 짱개시티도 스엠이라 그런지 노래 잘하는 편이더라 ㅇㅇ(106.101) 12.19 29 0
16012647 지금부터 야순이들아 달리자 근데(덜렁이)들이라 인증 못하지 꼬우면 인중ㄱ 야갤러(117.111) 12.19 64 0
16012644 스킵하고 야진스 내놔 ㅋㅋㅋ 빼뱀뺌빼배뱀갤로그로 이동합니다. 12.19 17 0
16012643 미스터 트롯3 안보냐? ㅇㅇ(220.116) 12.19 30 0
16012642 응디시티나 불러라고 ㅋㅋㅋㅋ [1] ㅇㅇ갤로그로 이동합니다. 12.19 41 0
16012641 보지벌려 흔들어라 이기야 ㅋㅋㅋㅋㅋ ㅇㅇ(118.235) 12.19 23 0
16012639 [단독] "주한미군 철수" 김준형, 처자식 모두 美국적 [16] Rico갤로그로 이동합니다. 12.19 378 205
16012638 짱개시티 ㅇ ㅇㅇ(106.101) 12.19 44 0
16012637 아오 ㅆㅂ담탄 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(211.107) 12.19 16 0
16012636 짱-깨 ㅇㅇ(39.7) 12.19 13 0
16012635 재이세은엔딩ㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(118.41) 12.19 15 0
16012634 애국보수다운 갓본 관중 반응ㅋㅋㅋㅋㅋ ㅇㅇ(223.39) 12.19 22 0
16012633 한녀는 왜케 명치 존나 세게 때리고 싶게 생김? 야갤러(211.234) 12.19 34 1
16012632 재이세은엔딩 ㅋㅋㅋㅋ 빼뱀뺌빼배뱀갤로그로 이동합니다. 12.19 12 0
16012631 일본인들은 가요 보면서 얌전하게 호흥하더라 [1] ㅇㅇ(211.62) 12.19 56 1
16012630 좌테이시 민중가요 한 곡 안하냐고 ㅋㅋㅋㅋㅋ ㅇㅇ(210.178) 12.19 17 0
16012629 테디베어우우우우우우 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(118.41) 12.19 13 0
16012628 이사님 미친 섹벅지 ㄷㄷ ㅇㅇ(112.157) 12.19 21 0
16012627 현시점 좌파 우파 ㅇㅇ(118.235) 12.19 15 0
뉴스 [포토] 김성제 감독, 박지환...'연출에 도움 많이 줘 고마워' 디시트렌드 12.19
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2