평가원 영어 pdf에서 txt 추출하기(python)
게시글 주소: https://orbi.kr/00073761517
영어 pdf에서 txt 추출.txt
2606.txt
평가원 영어 시험지 pdf에서 txt 추출하는 파이썬 코드임
필요해서 만들어 봄
pip install PyMuPDF
라이브러리 설치 필요
코드 원문
================================================================
import fitz
import os
import re
def clean_and_format_text(text: str) -> str:
"""
추출된 텍스트 청크를 문제/선택지 중심으로 재구성하고 모든 예외 규칙에 따라 서식을 정리합니다.
각 정규식은 특정 예외 케이스를 해결하기 위해 논리적으로 설계되었습니다.
"""
# 1단계: 초기 정제 - 후속 처리를 용이하게 하기 위해 텍스트를 한 줄로 정렬하고 기본 서식을 정리합니다.
# 모든 줄바꿈 문자(\n)를 공백으로 변환하여, 여러 줄에 걸쳐 있던 텍스트를 다루기 쉬운 한 줄의 문자열로 만듭니다.
processed_text = text.replace('\n', ' ').strip()
# 단어와 공백으로 떨어진 문장부호(.,?!)를 단어에 붙입니다. (예: "단어 ." -> "단어.")
# \s+는 하나 이상의 공백을, ([.,?!])는 문장부호 그룹을 의미하며, \1은 찾은 그룹(문장부호)을 가리킵니다.
processed_text = re.sub(r'\s+([.,?!])', r'\1', processed_text)
# 두 개 이상의 연속된 공백을 하나의 공백으로 통일하여 일관성을 유지합니다.
processed_text = re.sub(r'\s{2,}', ' ', processed_text)
# 2단계: 구조적 줄바꿈 삽입 - 문맥을 파악하여 문단 구분이 필요한 곳에 줄바꿈 문자를 삽입합니다.
# '[숫자~숫자]...답하시오.' 형식의 장문 독해 안내문 전체를 별도의 문단으로 분리합니다.
# ( )로 묶인 전체 패턴을 그룹(\1)으로 찾아, 그 앞과 뒤에 줄바꿈을 추가합니다.
processed_text = re.sub(r'(\[\d{1,2}~\d{1,2}\].*?답하시오\.)', r'\n\n\1\n', processed_text)
# '[3점]'과 각주 기호 '*'가 붙어있는 특정 케이스를 분리합니다.
processed_text = re.sub(r'(\[\d점\])\s*(\*)', r'\1\n\2', processed_text)
# 한글 또는 닫는 괄호')' 뒤에 대괄호'['가 오는 경우(예: ...상쇄하다[36~37])를 찾아 줄바꿈을 추가합니다.
processed_text = re.sub(r'([가-힣\)])\s*(\[)', r'\1\n\2', processed_text)
# 일반적인 각주 분리 규칙. 단어의 끝으로 간주되는 문자들 뒤에 각주 기호 '*'가 오면 줄바꿈을 삽입합니다.
# [a-zA-Z가-힣0-9.,?!")’\']는 단어의 끝을 구성하는 다양한 문자셋을 의미합니다.
processed_text = re.sub(r'([a-zA-Z가-힣0-9.,?!")’\'])\s+(\*)', r'\1\n\2', processed_text)
# '고르시오.', '것은?', '문장은?'으로 끝나는 문제 제목과 본문을 분리합니다.
# (?:...)는 캡처하지 않는 그룹을 의미하며, 제목 뒤에 선택적으로 오는 '[3점]'까지 하나의 단위로 묶어 처리합니다.
processed_text = re.sub(r'((?:고르시오\.|것은\?|문장은\?)(?:\s*\[\d점\])?)\s*', r'\1\n', processed_text)
# 요약문 기호 '?'를 찾아, 그 앞뒤로 충분한 간격을 주어 별도의 문단처럼 보이게 합니다.
processed_text = re.sub(r'\s*(?)\s*', r'\n\n\1\n\n', processed_text)
# 각주와 선택지(①)가 한 줄에 붙어있는 경우를 분리합니다. (2차 방어 로직)
processed_text = re.sub(r'(\*.+?\w)\s*(①|②|③|④|⑤)', r'\1\n\2', processed_text)
# 원문자 뒤에 공백이 없는 경우(예: ①단어) 공백을 강제로 추가합니다.
# (?!\s)는 '부정형 전방탐색'으로, 뒤에 공백이 오지 않는 경우에만 패턴을 일치시킵니다.
processed_text = re.sub(r'(①|②|③|④|⑤)(?!\s)', r'\1 ', processed_text)
# 문제 번호를 인식하여 그 앞에 두 번 줄바꿈을 삽입합니다.
# (?<!\d)는 '부정형 후방탐색'으로, '숫자+점' 패턴 앞에 다른 숫자가 없는 경우에만 일치시켜 '2022.' 같은 연도를 문제 번호로 오인하는 것을 방지합니다.
processed_text = re.sub(r'(?<!\d)\s*(\d{1,2}\.)', r'\n\n\1', processed_text)
# 선택지 기호(①) 앞에 줄바꿈을 삽입합니다.
# (?<!\()는 '부정형 후방탐색'으로, 원문자 앞에 여는 괄호'('가 없는 '진짜' 선택지에만 적용하여, '(①)'과 같은 문장 삽입형 기호는 제외합니다.
processed_text = re.sub(r'(?<!\()\s(①|②|③|④|⑤)', r'\n\1', processed_text)
# 장문 독해의 문단 표식( (A), (B) 등) 앞에 두 번의 줄바꿈을 삽입하여 문단을 나눕니다.
# 문장 종료 부호(.?!”’) 뒤에 오는 경우만 실제 문단 표식으로 간주하여, 선택지 내부의 '(A)' 등은 제외합니다.
processed_text = re.sub(r'([.?!"]|”|’)\s+(\([A-Z]\))', r'\1\n\n\2', processed_text)
# 3단계: 후처리 - 구조화된 텍스트를 최종적으로 다듬습니다.
# 여러 줄로 나뉜 각주들을 하나의 줄로 통합하며, 각주 사이에 공백을 두 개 삽입하여 가독성을 높입니다. (2회 반복하여 ***까지 처리)
processed_text = re.sub(r'(\*.+)\n(\*+.+)', r'\1 \2', processed_text)
processed_text = re.sub(r'(\*.+)\n(\*+.+)', r'\1 \2', processed_text)
# 3개 이상의 연속된 줄바꿈을 2개로 줄여, 의도적으로 만든 문단 간격(빈 줄 하나)은 보존하고 불필요한 간격만 제거합니다.
final_text = re.sub(r'\n{3,}', '\n\n', processed_text)
return final_text.strip()
def extract_combined_text_from_pdf(input_pdf_path: str) -> str:
# (이전과 동일)
try:
doc = fitz.open(input_pdf_path)
except Exception as e:
print(f"오류: PDF 파일을 열 수 없습니다. 경로: {input_pdf_path}, 오류: {e}")
return ""
all_text_parts = []
MM_TO_POINTS = 72 / 25.4
page_margins = {
0: {'top': 75 * MM_TO_POINTS, 'bottom': 40 * MM_TO_POINTS},
'default': {'top': 54 * MM_TO_POINTS, 'bottom': 40 * MM_TO_POINTS}
}
print(f"'{os.path.basename(input_pdf_path)}' 파일 ({len(doc)}페이지) 텍스트 추출 중...")
for page_num in range(len(doc)):
page = doc.load_page(page_num)
page_rect = page.rect
page_width, page_height = page_rect.width, page_rect.height
margins = page_margins.get(page_num, page_margins['default'])
top_margin, bottom_margin = margins['top'], margins['bottom']
mid_x = page_width / 2
left_rect = fitz.Rect(0, top_margin, mid_x, page_height - bottom_margin)
right_rect = fitz.Rect(mid_x, top_margin, page_width, page_height - bottom_margin)
for rect_area in [left_rect, right_rect]:
raw_text = page.get_text("text", clip=rect_area)
if raw_text.strip():
formatted_text = clean_and_format_text(raw_text)
all_text_parts.append(formatted_text)
# 최종적으로 합치기 전에, 각 파트의 앞뒤 공백을 다시 한번 정리하여 일관성을 높임
cleaned_parts = [part.strip() for part in all_text_parts if part.strip()]
return '\n\n'.join(cleaned_parts)
if __name__ == '__main__':
base_folder = r'D:\영어 문제지'
output_folder = os.path.join(base_folder, 'txt')
if not os.path.exists(output_folder):
os.makedirs(output_folder)
try:
all_files = os.listdir(base_folder)
except FileNotFoundError:
print(f"오류: '{base_folder}' 폴더를 찾을 수 없습니다. 경로를 확인하세요.")
exit()
pdf_files = [f for f in all_files if f.lower().endswith('.pdf')]
if not pdf_files:
print(f"'{base_folder}' 폴더에 처리할 PDF 파일이 없습니다.")
else:
print(f"총 {len(pdf_files)}개의 PDF 파일을 처리합니다.")
for pdf_filename in pdf_files:
input_pdf_path = os.path.join(base_folder, pdf_filename)
combined_text = extract_combined_text_from_pdf(input_pdf_path)
if combined_text:
# === 최종 후처리 단계 (전체 텍스트 대상) ===
# 1. 불필요한 안내 문구 목록
lines_to_remove = [
"1번부터 17번까지는 듣고 답하는 문제입니다. 1번부터 15번까지는 한 번만 들려주고, 16번부터 17번까지는 두 번 들려줍니다. 방송을 잘 듣고 답을 하시기 바랍니다.",
"이제 듣기 문제가 끝났습니다. 18번부터는 문제지의 지시에 따라 답을 하시기 바랍니다.",
"* 확인 사항 ◦답안지의 해당란에 필요한 내용을 정확히 기입(표기)했는지 확인 하시오."
]
for line in lines_to_remove:
combined_text = combined_text.replace(line, "")
# 2. 탭(tab)으로 정렬할 특정 선택지 블록 처리
def tab_format_choices(match):
# 찾은 블록의 줄바꿈을 탭으로 변경
return match.group(0).replace('\n', '\t')
pattern = r'(?:^[①②③④⑤]\s*\([a-e]\)\s*\n){4}^[①②③④⑤]\s*\([a-e]\)$'
combined_text = re.sub(pattern, tab_format_choices, combined_text, flags=re.MULTILINE)
# 3. 위의 처리 과정에서 생길 수 있는 과도한 줄바꿈 정리
combined_text = re.sub(r'\n{3,}', '\n\n', combined_text).strip()
# 최종 결과 저장
base_filename = os.path.splitext(pdf_filename)[0]
output_filename = f"{base_filename}.txt"
output_filepath = os.path.join(output_folder, output_filename)
with open(output_filepath, 'w', encoding='utf-8') as f:
f.write(combined_text)
print(f"-> 최종 결과가 '{output_filepath}' 파일에 저장되었습니다.")
print("\n모든 작업이 완료되었습니다.")
================================================================
0 XDK (+0)
유익한 글을 읽었다면 작성자에게 XDK를 선물하세요.
-
지금 맡은 모든 학생이 고3엔수임..
-
작수 커리 탄 사람 있나
-
연방이니깐 모든 주가 아니긴한데 친자식이어도 너한테 10원 한장 못줌 ㅅㄱ 이러면 ㄹㅇ 못받네 ㄷㄷ
-
손이 찝찝해 10
초콜렛 머겄는데 손에 다뭍음..ㅠ
-
수시기에 가능했다 은퇴한 선수랑 셀카도 찍었읍니다.ㅎㅎ
-
하는 발언이랑 행동이 너무나도 충격적이네....... 아베는 좋아했던걸로...
-
새상품이고 정품이에요.. 혹시여기에 긓 올려도 괴나요?ㅠ 번장이랑 당근에는...
-
나만 그럼??
-
스투시 삿는데 너무커ㅛㅓ 팔고싳큼
-
밴드 음악, 잔잔한 락 좋아해요
-
자취 로망 특 7
일주일 해보면 싹 사라짐 ㄹㅇㅋㅋ
-
고2 220630 인데 다른 고2문제들처럼 과하지도 않고 괜찮음
-
내 폰케이스 그 지갑형이라 해야하나? 할머니 할아버지들 많이 하고 다니시는 그 폰...
-
자기전에켄드릭 0
듣고자야지
-
라면 부셔먹기 1
-
핸드폰 너무 무거움
-
안녕하세요 '지구과학 최단기간 고정 1등급만들기' 저자 발로탱이입니다. 지난 1년간...
-
적백 가는법.. 3
고1때부터 항상 1등급이었는데 그렇다고 백분위 100은 없는 그냥 적당히 하는...
-
국수 어느정도 잡히고 탐구가 안잡힌..... 근데 나는 탐구가 과탐이란게 함정 음.......
-
배는 꽉찼고 머리는 아프네
-
누나 저 설레요 ! 13
설래요.. 서고 싶어요 !
-
이미 대학 간 놈들은 ㄴㄴ 반수생은 ㄱㄴ
-
요즘 한로로에 빠졌다 19
-
선착순 만원 10
11~15번까지 제일 먼저 풀고 댓글로 답 적는 사람이 승자 형식은...
-
이제 주1회 감 잡는 용으로 실모를 풀려고하는데 뭘 풀어야할까요? ebs는 고전만...
-
국어 공부 0
6모 68정도 맞았습니다. 올해 초부터 승리쌤 풀커리 탔습니다. 6모전에 앱스키마1...
-
투두 안되는 거 같아서 메신저 기능 있는 다른 거 있음?
-
이런말을 누구나할수있는거아닌가요?.. 음 그냥 제가 잘못한건가욧?ㅠ
-
Dm 13명한테 와있었음.. 수능 끝나고... ㅎ휴ㅠㅠ
-
국어 공부법 0
재수 시작하고 국어 공부를 진짜 안 해서 이제부터 하려구 하는데요 EBS 연계...
-
흫흐흐흐흫
-
7/8 기록 0
다시 천천히 가보쟈~
-
이매진 난이도가 각 호별로 다른 편인가요 ?
-
기하투투러의 윤사개념 듣기 이유: 국어 인문 배경지식 To 윤사원주민: 저는 윤사...
-
오르새 개센스 2
고2인데 수2 개념에 구멍이 있는 듯한 느낌을 많이 받습니다 고3 공통만 풀었을때...
-
공부하니실력이 올라 공통을 너무 잘해서 미적 다시 하는 사람 있나요
-
문학 독서 다 수능에 중복 안되나요?
-
서바 대 강k 2
확통 22틀 96인데 뭐가 좋나요? 지방러라 둘다 라이브 들을듯
-
고2인데 지금 수분감 공통 세번 돌렸고 한완기 교사경도 이번주애 끝날 것 같은데...
-
이 날씨에....
-
가장 기출 느낌 나는 / 안 나는 실모 / N제가 뭐임? 6
새로운 문제를 접하는게 되게 중요할 거 같아서
-
진짜 공포네..
-
시험기간이라 그런가
-
오르비보고 웃겨서 기분 조아짐.
-
머 7모에서 처참하게 깨지면 다시 원래대로 돌아오겠져..
-
ㅅㅂㅅㅂㅅㅂㅅㅂ
-
드릴3 1
드릴3 어렵다던대 저만 6보다 쉬운거같나요? 자랑하는게아니라 저 개못하는데 아직...
-
씹덕 노래 들으면서 바로 이해될정도의 실력을 가지려면 몇개월 걸려요?
-
메인 왜이렇게 4
같은게 오랫동안 올라가있지 원래 시간지나면 내려오지 않나 몇일째 그대로네
천재인가
이런거 어떻게하는거임 다시봤어요
ㅋㅋㅋ 로직 생각해서 ai한테 던져주면 잘 만들어 줍니다
와 ㄷㄷㄷ
국어 코드도 있으신가유
국어는 맞춤법이 워낙 복잡해서 코드 짜도 이상하더라구요
영어는 그냥 단어로 딱딱 나뉘니까 괜찮은데
그래서 국어는 현재는 없습니다
어쩐지 제가 시도했을때도 잘 안되더니..
국어가 문제네요 ㅋㅋ

감사합니다!!!