Compare commits
9 Commits
6e5c108269
...
claude/set
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
b59215bf1c | ||
|
|
bae43e4679 | ||
|
|
dd4345267a | ||
|
|
ae85dcbd87 | ||
|
|
d62867e0cb | ||
|
|
1ccbc17b79 | ||
|
|
c5ef580534 | ||
|
|
e8ca418817 | ||
|
|
8f7e0ee216 |
24
.gitignore
vendored
Normal file
24
.gitignore
vendored
Normal file
@@ -0,0 +1,24 @@
|
|||||||
|
# Logs
|
||||||
|
logs
|
||||||
|
*.log
|
||||||
|
npm-debug.log*
|
||||||
|
yarn-debug.log*
|
||||||
|
yarn-error.log*
|
||||||
|
pnpm-debug.log*
|
||||||
|
lerna-debug.log*
|
||||||
|
|
||||||
|
node_modules
|
||||||
|
dist
|
||||||
|
dist-ssr
|
||||||
|
*.local
|
||||||
|
|
||||||
|
# Editor directories and files
|
||||||
|
.vscode/*
|
||||||
|
!.vscode/extensions.json
|
||||||
|
.idea
|
||||||
|
.DS_Store
|
||||||
|
*.suo
|
||||||
|
*.ntvs*
|
||||||
|
*.njsproj
|
||||||
|
*.sln
|
||||||
|
*.sw?
|
||||||
93
README.md
93
README.md
@@ -1,2 +1,93 @@
|
|||||||
# Community-Crawler
|
# 한국 커뮤니티 애그리게이터
|
||||||
|
|
||||||
|
한국의 주요 인터넷 커뮤니티(디시인사이드, 루리웹, 아카라이브)의 게시글을 한 곳에서 모아 볼 수 있는 웹 애플리케이션입니다.
|
||||||
|
|
||||||
|
## 기술 스택
|
||||||
|
|
||||||
|
### Frontend
|
||||||
|
- **React** - UI 라이브러리
|
||||||
|
- **TypeScript** - 타입 안전성
|
||||||
|
- **Vite** - 빌드 도구
|
||||||
|
- **Tailwind CSS** - 스타일링
|
||||||
|
|
||||||
|
### Backend (예정)
|
||||||
|
- **Spring** - 백엔드 프레임워크
|
||||||
|
- **MariaDB** - 데이터베이스
|
||||||
|
|
||||||
|
## 주요 기능
|
||||||
|
|
||||||
|
1. **여러 커뮤니티 게시글 통합 조회**
|
||||||
|
- 디시인사이드, 루리웹, 아카라이브의 게시글을 카드 형식으로 표시
|
||||||
|
|
||||||
|
2. **커뮤니티별 필터링**
|
||||||
|
- 전체/디씨/루리웹/아카 탭으로 원하는 커뮤니티만 선택하여 조회
|
||||||
|
|
||||||
|
3. **검색 기능**
|
||||||
|
- 제목과 내용에서 키워드 검색
|
||||||
|
|
||||||
|
4. **게시글 상세보기**
|
||||||
|
- 게시글 클릭 시 모달로 상세 내용 확인
|
||||||
|
- 원문 링크 제공
|
||||||
|
|
||||||
|
## 프로젝트 구조
|
||||||
|
|
||||||
|
```
|
||||||
|
community-crawler/
|
||||||
|
├── src/
|
||||||
|
│ ├── components/
|
||||||
|
│ │ ├── common/
|
||||||
|
│ │ │ ├── Header.tsx # 헤더 및 검색바
|
||||||
|
│ │ │ ├── PostCard.tsx # 게시글 카드 컴포넌트
|
||||||
|
│ │ │ └── PostModal.tsx # 게시글 상세보기 모달
|
||||||
|
│ │ └── PostList.tsx # 게시글 리스트 및 필터
|
||||||
|
│ ├── data/
|
||||||
|
│ │ └── mock-posts.json # Mock 데이터
|
||||||
|
│ ├── types/
|
||||||
|
│ │ └── index.ts # TypeScript 타입 정의
|
||||||
|
│ ├── App.tsx
|
||||||
|
│ ├── main.tsx
|
||||||
|
│ └── index.css
|
||||||
|
├── package.json
|
||||||
|
└── README.md
|
||||||
|
```
|
||||||
|
|
||||||
|
## 시작하기
|
||||||
|
|
||||||
|
### 설치
|
||||||
|
|
||||||
|
```bash
|
||||||
|
npm install
|
||||||
|
```
|
||||||
|
|
||||||
|
### 개발 서버 실행
|
||||||
|
|
||||||
|
```bash
|
||||||
|
npm run dev
|
||||||
|
```
|
||||||
|
|
||||||
|
브라우저에서 `http://localhost:5173`을 열어 확인하세요.
|
||||||
|
|
||||||
|
### 빌드
|
||||||
|
|
||||||
|
```bash
|
||||||
|
npm run build
|
||||||
|
```
|
||||||
|
|
||||||
|
### 빌드된 앱 미리보기
|
||||||
|
|
||||||
|
```bash
|
||||||
|
npm run preview
|
||||||
|
```
|
||||||
|
|
||||||
|
## 다음 단계
|
||||||
|
|
||||||
|
- [ ] 백엔드 API 개발 (Spring)
|
||||||
|
- [ ] 실제 커뮤니티 크롤링 기능 구현
|
||||||
|
- [ ] 데이터베이스 연동 (MariaDB)
|
||||||
|
- [ ] 실시간 업데이트 기능
|
||||||
|
- [ ] 사용자 북마크 기능
|
||||||
|
- [ ] 더 많은 커뮤니티 추가
|
||||||
|
|
||||||
|
## 라이선스
|
||||||
|
|
||||||
|
MIT
|
||||||
|
|||||||
129
crawler/README.md
Normal file
129
crawler/README.md
Normal file
@@ -0,0 +1,129 @@
|
|||||||
|
# Community Crawler (Puppeteer)
|
||||||
|
|
||||||
|
루리웹, 아카라이브 등 한국 커뮤니티 크롤러 (Puppeteer 기반)
|
||||||
|
|
||||||
|
## 특징
|
||||||
|
|
||||||
|
- ✅ **Puppeteer** - 실제 Chrome 브라우저 사용
|
||||||
|
- ✅ **Stealth Plugin** - 봇 탐지 우회
|
||||||
|
- ✅ **TLS Fingerprinting 우회** - 403 에러 해결
|
||||||
|
- ✅ **안전 장치** - 딜레이, 재시도 로직, robots.txt 준수
|
||||||
|
|
||||||
|
## 설치
|
||||||
|
|
||||||
|
### 1. 의존성 설치
|
||||||
|
|
||||||
|
```bash
|
||||||
|
cd crawler
|
||||||
|
npm install
|
||||||
|
```
|
||||||
|
|
||||||
|
### 2. Chrome/Chromium 설치 (필수)
|
||||||
|
|
||||||
|
Puppeteer가 Chrome을 자동으로 다운로드하지 못하는 경우, 시스템에 Chrome을 설치해야 합니다:
|
||||||
|
|
||||||
|
**Windows:**
|
||||||
|
- [Chrome 다운로드](https://www.google.com/chrome/)
|
||||||
|
|
||||||
|
**Mac:**
|
||||||
|
```bash
|
||||||
|
brew install --cask google-chrome
|
||||||
|
```
|
||||||
|
|
||||||
|
**Linux (Ubuntu/Debian):**
|
||||||
|
```bash
|
||||||
|
sudo apt-get update
|
||||||
|
sudo apt-get install -y chromium-browser
|
||||||
|
```
|
||||||
|
|
||||||
|
또는 Puppeteer가 Chrome을 자동으로 다운로드하도록:
|
||||||
|
```bash
|
||||||
|
node node_modules/puppeteer/install.mjs
|
||||||
|
```
|
||||||
|
|
||||||
|
## 사용법
|
||||||
|
|
||||||
|
### 테스트 실행 (한 번만)
|
||||||
|
|
||||||
|
```bash
|
||||||
|
npm test
|
||||||
|
```
|
||||||
|
|
||||||
|
### 스케줄러 실행 (30분마다 자동 실행)
|
||||||
|
|
||||||
|
```bash
|
||||||
|
npm start
|
||||||
|
```
|
||||||
|
|
||||||
|
### 개발 모드 (코드 변경 시 자동 재시작)
|
||||||
|
|
||||||
|
```bash
|
||||||
|
npm run dev
|
||||||
|
```
|
||||||
|
|
||||||
|
## 출력
|
||||||
|
|
||||||
|
크롤링 결과는 다음 경로에 저장됩니다:
|
||||||
|
```
|
||||||
|
../src/data/posts.json
|
||||||
|
```
|
||||||
|
|
||||||
|
프론트엔드에서 이 파일을 import하여 사용합니다.
|
||||||
|
|
||||||
|
## 설정
|
||||||
|
|
||||||
|
`src/config.ts` 파일에서 설정 변경 가능:
|
||||||
|
|
||||||
|
```typescript
|
||||||
|
export const CRAWLER_CONFIG = {
|
||||||
|
delay: 3000, // 요청 간 딜레이 (ms)
|
||||||
|
maxRetries: 3, // 재시도 횟수
|
||||||
|
timeout: 10000, // 타임아웃 (ms)
|
||||||
|
maxPostsPerBoard: 20, // 게시판당 최대 게시글 수
|
||||||
|
};
|
||||||
|
```
|
||||||
|
|
||||||
|
## 주의사항
|
||||||
|
|
||||||
|
⚠️ **법적/윤리적 책임**
|
||||||
|
- 크롤링으로 인한 법적 책임은 사용자에게 있습니다
|
||||||
|
- 서버 부하를 최소화하기 위해 적절한 딜레이를 설정하세요
|
||||||
|
- robots.txt를 준수합니다
|
||||||
|
|
||||||
|
⚠️ **기술적 제약**
|
||||||
|
- Puppeteer는 리소스를 많이 사용합니다 (메모리 ~200MB)
|
||||||
|
- 헤드리스 브라우저 실행 시간이 필요합니다
|
||||||
|
- 여전히 차단될 수 있습니다 (Cloudflare 고급 탐지)
|
||||||
|
|
||||||
|
## 트러블슈팅
|
||||||
|
|
||||||
|
### Chrome not found 에러
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# Puppeteer가 Chrome을 찾지 못하는 경우
|
||||||
|
# 시스템 Chrome 경로 지정 (puppeteer-fetcher.ts 수정)
|
||||||
|
executablePath: '/usr/bin/chromium-browser', // Linux
|
||||||
|
executablePath: '/Applications/Google Chrome.app/Contents/MacOS/Google Chrome', // Mac
|
||||||
|
executablePath: 'C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe', // Windows
|
||||||
|
```
|
||||||
|
|
||||||
|
### 403 Forbidden 여전히 발생
|
||||||
|
|
||||||
|
- Cloudflare가 더 강화되었을 수 있습니다
|
||||||
|
- User-Agent를 최신 버전으로 업데이트
|
||||||
|
- 더 긴 딜레이 설정
|
||||||
|
- VPN/프록시 사용 고려
|
||||||
|
|
||||||
|
### 메모리 부족
|
||||||
|
|
||||||
|
```typescript
|
||||||
|
// puppeteer-fetcher.ts에서 headless 모드 유지
|
||||||
|
headless: true, // 'new'로 변경하면 더 적은 메모리 사용
|
||||||
|
```
|
||||||
|
|
||||||
|
## 다음 단계
|
||||||
|
|
||||||
|
- [ ] HTML 선택자 실제 페이지에 맞게 조정
|
||||||
|
- [ ] 더 많은 게시판 추가
|
||||||
|
- [ ] 에러 핸들링 강화
|
||||||
|
- [ ] Spring 백엔드로 마이그레이션
|
||||||
2770
crawler/package-lock.json
generated
Normal file
2770
crawler/package-lock.json
generated
Normal file
File diff suppressed because it is too large
Load Diff
35
crawler/package.json
Normal file
35
crawler/package.json
Normal file
@@ -0,0 +1,35 @@
|
|||||||
|
{
|
||||||
|
"name": "community-crawler",
|
||||||
|
"version": "1.0.0",
|
||||||
|
"description": "Korean community crawler",
|
||||||
|
"main": "dist/index.js",
|
||||||
|
"type": "module",
|
||||||
|
"scripts": {
|
||||||
|
"dev": "tsx watch src/index.ts",
|
||||||
|
"build": "tsc",
|
||||||
|
"start": "node dist/index.js",
|
||||||
|
"test": "tsx src/test.ts",
|
||||||
|
"debug": "tsx src/debug-html.ts"
|
||||||
|
},
|
||||||
|
"keywords": [
|
||||||
|
"crawler",
|
||||||
|
"community",
|
||||||
|
"korea"
|
||||||
|
],
|
||||||
|
"author": "",
|
||||||
|
"license": "MIT",
|
||||||
|
"dependencies": {
|
||||||
|
"axios": "^1.7.9",
|
||||||
|
"cheerio": "^1.0.0",
|
||||||
|
"node-cron": "^3.0.3",
|
||||||
|
"puppeteer": "^24.30.0",
|
||||||
|
"puppeteer-extra": "^3.3.6",
|
||||||
|
"puppeteer-extra-plugin-stealth": "^2.11.2"
|
||||||
|
},
|
||||||
|
"devDependencies": {
|
||||||
|
"@types/node": "^22.10.2",
|
||||||
|
"@types/node-cron": "^3.0.11",
|
||||||
|
"tsx": "^4.19.2",
|
||||||
|
"typescript": "^5.7.2"
|
||||||
|
}
|
||||||
|
}
|
||||||
29
crawler/src/config.ts
Normal file
29
crawler/src/config.ts
Normal file
@@ -0,0 +1,29 @@
|
|||||||
|
import type { CrawlerConfig, BoardConfig } from './types.js';
|
||||||
|
|
||||||
|
export const CRAWLER_CONFIG: CrawlerConfig = {
|
||||||
|
delay: 3000, // 3초 딜레이 (서버 부하 최소화)
|
||||||
|
maxRetries: 3,
|
||||||
|
timeout: 10000,
|
||||||
|
maxPostsPerBoard: 20, // 게시판당 최대 20개만 수집
|
||||||
|
};
|
||||||
|
|
||||||
|
// 루리웹 게시판 목록
|
||||||
|
export const RULIWEB_BOARDS: BoardConfig[] = [
|
||||||
|
{ name: '유머 게시판', url: 'https://bbs.ruliweb.com/community/board/300143' },
|
||||||
|
{ name: '정치 게시판', url: 'https://bbs.ruliweb.com/community/board/300148' },
|
||||||
|
];
|
||||||
|
|
||||||
|
// 아카라이브 채널 목록
|
||||||
|
export const ARCALIVE_CHANNELS: BoardConfig[] = [
|
||||||
|
{ name: '일반', url: 'https://arca.live/b/breaking' },
|
||||||
|
{ name: '유머', url: 'https://arca.live/b/humor' },
|
||||||
|
];
|
||||||
|
|
||||||
|
// 디시인사이드 갤러리 (비활성화)
|
||||||
|
export const DCINSIDE_GALLERIES: BoardConfig[] = [
|
||||||
|
// robots.txt 제한으로 비활성화
|
||||||
|
// { name: '야구갤러리', url: 'https://gall.dcinside.com/board/lists/?id=baseball_new' },
|
||||||
|
];
|
||||||
|
|
||||||
|
export const USER_AGENT =
|
||||||
|
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36';
|
||||||
72
crawler/src/crawlers/arcalive.ts
Normal file
72
crawler/src/crawlers/arcalive.ts
Normal file
@@ -0,0 +1,72 @@
|
|||||||
|
import * as cheerio from 'cheerio';
|
||||||
|
import { BaseCrawler } from './base.js';
|
||||||
|
import type { Post, BoardConfig } from '../types.js';
|
||||||
|
import { PuppeteerFetcher } from '../utils/puppeteer-fetcher.js';
|
||||||
|
import { Logger } from '../utils/logger.js';
|
||||||
|
import { CRAWLER_CONFIG } from '../config.js';
|
||||||
|
|
||||||
|
export class ArcaliveCrawler extends BaseCrawler {
|
||||||
|
protected communityName = 'Arcalive';
|
||||||
|
|
||||||
|
async crawlBoard(board: BoardConfig): Promise<Post[]> {
|
||||||
|
const html = await PuppeteerFetcher.fetchHTML(board.url);
|
||||||
|
if (!html) return [];
|
||||||
|
|
||||||
|
const $ = cheerio.load(html);
|
||||||
|
const posts: Post[] = [];
|
||||||
|
|
||||||
|
// 실제 아카라이브 HTML 구조에 맞게 수정
|
||||||
|
$('a.vrow').each((index, element) => {
|
||||||
|
if (index >= CRAWLER_CONFIG.maxPostsPerBoard) return false;
|
||||||
|
|
||||||
|
try {
|
||||||
|
const $el = $(element);
|
||||||
|
|
||||||
|
// URL (a 태그의 href)
|
||||||
|
const url = $el.attr('href') || '';
|
||||||
|
|
||||||
|
// 제목
|
||||||
|
const title = this.cleanText($el.find('.col-title .title').text());
|
||||||
|
|
||||||
|
// 작성자 (data-filter 속성이 있는 span 또는 첫 번째 span)
|
||||||
|
const authorEl = $el.find('.col-author .user-info span[data-filter]');
|
||||||
|
const author = this.cleanText(authorEl.length > 0 ? authorEl.text() : $el.find('.col-author .user-info span').first().text());
|
||||||
|
|
||||||
|
// 조회수, 추천수
|
||||||
|
const views = this.parseNumber($el.find('.col-view').text());
|
||||||
|
const likes = this.parseNumber($el.find('.col-rate').text());
|
||||||
|
|
||||||
|
// 댓글 수 (아카라이브는 제목에 포함되어 있을 수 있음, 또는 별도 요소)
|
||||||
|
const commentEl = $el.find('.col-title .comment-count');
|
||||||
|
const comments = commentEl.length > 0 ? this.parseNumber(commentEl.text()) : 0;
|
||||||
|
|
||||||
|
// 시간
|
||||||
|
const timeEl = $el.find('.col-time time');
|
||||||
|
const timeStr = timeEl.length > 0 ? this.cleanText(timeEl.text()) : '';
|
||||||
|
|
||||||
|
if (!title) return;
|
||||||
|
|
||||||
|
const post: Post = {
|
||||||
|
id: this.generatePostId('arcalive', index),
|
||||||
|
title,
|
||||||
|
author: author || '익명',
|
||||||
|
community: 'arcalive',
|
||||||
|
board: board.name,
|
||||||
|
content: title, // 상세 내용은 가져오지 않음
|
||||||
|
views,
|
||||||
|
comments,
|
||||||
|
likes,
|
||||||
|
timestamp: this.parseRelativeTime(timeStr),
|
||||||
|
url: url.startsWith('http') ? url : `https://arca.live${url}`,
|
||||||
|
};
|
||||||
|
|
||||||
|
posts.push(post);
|
||||||
|
Logger.info(`Parsed Arcalive post: ${title} (views: ${views}, comments: ${comments}, likes: ${likes})`);
|
||||||
|
} catch (error) {
|
||||||
|
Logger.error(`Error parsing Arcalive post at index ${index}`, error);
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
|
return posts;
|
||||||
|
}
|
||||||
|
}
|
||||||
89
crawler/src/crawlers/base.ts
Normal file
89
crawler/src/crawlers/base.ts
Normal file
@@ -0,0 +1,89 @@
|
|||||||
|
import type { Post, BoardConfig } from '../types.js';
|
||||||
|
import { PuppeteerFetcher } from '../utils/puppeteer-fetcher.js';
|
||||||
|
import { Logger } from '../utils/logger.js';
|
||||||
|
|
||||||
|
export abstract class BaseCrawler {
|
||||||
|
protected abstract communityName: string;
|
||||||
|
|
||||||
|
abstract crawlBoard(board: BoardConfig): Promise<Post[]>;
|
||||||
|
|
||||||
|
async crawlAll(boards: BoardConfig[]): Promise<Post[]> {
|
||||||
|
Logger.info(`Starting ${this.communityName} crawl...`);
|
||||||
|
const allPosts: Post[] = [];
|
||||||
|
|
||||||
|
for (const board of boards) {
|
||||||
|
try {
|
||||||
|
const posts = await this.crawlBoard(board);
|
||||||
|
allPosts.push(...posts);
|
||||||
|
Logger.success(
|
||||||
|
`Crawled ${posts.length} posts from ${this.communityName} - ${board.name}`
|
||||||
|
);
|
||||||
|
|
||||||
|
// 다음 게시판으로 넘어가기 전 딜레이
|
||||||
|
await PuppeteerFetcher.delay();
|
||||||
|
} catch (error) {
|
||||||
|
Logger.error(
|
||||||
|
`Failed to crawl ${this.communityName} - ${board.name}`,
|
||||||
|
error
|
||||||
|
);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
Logger.info(
|
||||||
|
`Completed ${this.communityName} crawl: ${allPosts.length} total posts`
|
||||||
|
);
|
||||||
|
return allPosts;
|
||||||
|
}
|
||||||
|
|
||||||
|
protected generatePostId(community: string, index: number): string {
|
||||||
|
return `${community}-${Date.now()}-${index}`;
|
||||||
|
}
|
||||||
|
|
||||||
|
protected parseRelativeTime(timeStr: string): string {
|
||||||
|
const now = new Date();
|
||||||
|
|
||||||
|
// "N분 전" 형식
|
||||||
|
const minutesMatch = timeStr.match(/(\d+)분\s*전/);
|
||||||
|
if (minutesMatch) {
|
||||||
|
now.setMinutes(now.getMinutes() - parseInt(minutesMatch[1]));
|
||||||
|
return now.toISOString();
|
||||||
|
}
|
||||||
|
|
||||||
|
// "N시간 전" 형식
|
||||||
|
const hoursMatch = timeStr.match(/(\d+)시간\s*전/);
|
||||||
|
if (hoursMatch) {
|
||||||
|
now.setHours(now.getHours() - parseInt(hoursMatch[1]));
|
||||||
|
return now.toISOString();
|
||||||
|
}
|
||||||
|
|
||||||
|
// "어제" 또는 "N일 전" 형식
|
||||||
|
const daysMatch = timeStr.match(/(\d+)일\s*전/);
|
||||||
|
if (daysMatch) {
|
||||||
|
now.setDate(now.getDate() - parseInt(daysMatch[1]));
|
||||||
|
return now.toISOString();
|
||||||
|
}
|
||||||
|
|
||||||
|
if (timeStr.includes('어제')) {
|
||||||
|
now.setDate(now.getDate() - 1);
|
||||||
|
return now.toISOString();
|
||||||
|
}
|
||||||
|
|
||||||
|
// 날짜 형식 (YYYY-MM-DD 또는 MM-DD)
|
||||||
|
const dateMatch = timeStr.match(/(\d{4})-(\d{2})-(\d{2})/);
|
||||||
|
if (dateMatch) {
|
||||||
|
return new Date(timeStr).toISOString();
|
||||||
|
}
|
||||||
|
|
||||||
|
// 파싱 실패 시 현재 시간 반환
|
||||||
|
return now.toISOString();
|
||||||
|
}
|
||||||
|
|
||||||
|
protected cleanText(text: string): string {
|
||||||
|
return text.trim().replace(/\s+/g, ' ');
|
||||||
|
}
|
||||||
|
|
||||||
|
protected parseNumber(text: string): number {
|
||||||
|
const cleaned = text.replace(/[^0-9]/g, '');
|
||||||
|
return cleaned ? parseInt(cleaned, 10) : 0;
|
||||||
|
}
|
||||||
|
}
|
||||||
15
crawler/src/crawlers/dcinside.ts
Normal file
15
crawler/src/crawlers/dcinside.ts
Normal file
@@ -0,0 +1,15 @@
|
|||||||
|
import { BaseCrawler } from './base.js';
|
||||||
|
import type { Post, BoardConfig } from '../types.js';
|
||||||
|
import { Logger } from '../utils/logger.js';
|
||||||
|
|
||||||
|
export class DCInsideCrawler extends BaseCrawler {
|
||||||
|
protected communityName = 'DCInside';
|
||||||
|
|
||||||
|
async crawlBoard(board: BoardConfig): Promise<Post[]> {
|
||||||
|
// robots.txt 제한으로 비활성화
|
||||||
|
Logger.warn(
|
||||||
|
`DCInside crawling is disabled due to robots.txt restrictions: ${board.name}`
|
||||||
|
);
|
||||||
|
return [];
|
||||||
|
}
|
||||||
|
}
|
||||||
69
crawler/src/crawlers/ruliweb.ts
Normal file
69
crawler/src/crawlers/ruliweb.ts
Normal file
@@ -0,0 +1,69 @@
|
|||||||
|
import * as cheerio from 'cheerio';
|
||||||
|
import { BaseCrawler } from './base.js';
|
||||||
|
import type { Post, BoardConfig } from '../types.js';
|
||||||
|
import { PuppeteerFetcher } from '../utils/puppeteer-fetcher.js';
|
||||||
|
import { Logger } from '../utils/logger.js';
|
||||||
|
import { CRAWLER_CONFIG } from '../config.js';
|
||||||
|
|
||||||
|
export class RuliwebCrawler extends BaseCrawler {
|
||||||
|
protected communityName = 'Ruliweb';
|
||||||
|
|
||||||
|
async crawlBoard(board: BoardConfig): Promise<Post[]> {
|
||||||
|
const html = await PuppeteerFetcher.fetchHTML(board.url);
|
||||||
|
if (!html) return [];
|
||||||
|
|
||||||
|
const $ = cheerio.load(html);
|
||||||
|
const posts: Post[] = [];
|
||||||
|
|
||||||
|
// 실제 루리웹 HTML 구조에 맞게 수정
|
||||||
|
$('tr.table_body').each((index, element) => {
|
||||||
|
if (index >= CRAWLER_CONFIG.maxPostsPerBoard) return false;
|
||||||
|
|
||||||
|
try {
|
||||||
|
const $el = $(element);
|
||||||
|
|
||||||
|
// 제목과 URL
|
||||||
|
const titleEl = $el.find('.subject .subject_link');
|
||||||
|
const title = this.cleanText(titleEl.clone().children().remove().end().text()); // 아이콘/댓글 수 제외
|
||||||
|
const url = titleEl.attr('href') || '';
|
||||||
|
|
||||||
|
// 작성자
|
||||||
|
const author = this.cleanText($el.find('.writer a').text());
|
||||||
|
|
||||||
|
// 조회수, 추천수, 댓글수
|
||||||
|
const views = this.parseNumber($el.find('.hit').text());
|
||||||
|
const likes = this.parseNumber($el.find('.recomd').text());
|
||||||
|
|
||||||
|
// 댓글 수 추출 (예: "(2)" -> 2)
|
||||||
|
const commentText = $el.find('.num_reply').text();
|
||||||
|
const comments = this.parseNumber(commentText);
|
||||||
|
|
||||||
|
// 시간
|
||||||
|
const timeStr = this.cleanText($el.find('.time').text());
|
||||||
|
|
||||||
|
if (!title) return;
|
||||||
|
|
||||||
|
const post: Post = {
|
||||||
|
id: this.generatePostId('ruliweb', index),
|
||||||
|
title,
|
||||||
|
author: author || '익명',
|
||||||
|
community: 'ruliweb',
|
||||||
|
board: board.name,
|
||||||
|
content: title, // 상세 내용은 가져오지 않음
|
||||||
|
views,
|
||||||
|
comments,
|
||||||
|
likes,
|
||||||
|
timestamp: this.parseRelativeTime(timeStr),
|
||||||
|
url: url.startsWith('http') ? url : `https://bbs.ruliweb.com${url}`,
|
||||||
|
};
|
||||||
|
|
||||||
|
posts.push(post);
|
||||||
|
Logger.info(`Parsed Ruliweb post: ${title} (views: ${views}, comments: ${comments}, likes: ${likes})`);
|
||||||
|
} catch (error) {
|
||||||
|
Logger.error(`Error parsing Ruliweb post at index ${index}`, error);
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
|
return posts;
|
||||||
|
}
|
||||||
|
}
|
||||||
47
crawler/src/debug-html.ts
Normal file
47
crawler/src/debug-html.ts
Normal file
@@ -0,0 +1,47 @@
|
|||||||
|
import { promises as fs } from 'fs';
|
||||||
|
import path from 'path';
|
||||||
|
import { fileURLToPath } from 'url';
|
||||||
|
import { PuppeteerFetcher } from './utils/puppeteer-fetcher.js';
|
||||||
|
import { Logger } from './utils/logger.js';
|
||||||
|
|
||||||
|
const __filename = fileURLToPath(import.meta.url);
|
||||||
|
const __dirname = path.dirname(__filename);
|
||||||
|
|
||||||
|
async function debugHTML() {
|
||||||
|
Logger.info('========== HTML Structure Debug ==========');
|
||||||
|
|
||||||
|
const urls = [
|
||||||
|
{ name: 'Ruliweb', url: 'https://bbs.ruliweb.com/community/board/300143' },
|
||||||
|
{ name: 'Arcalive', url: 'https://arca.live/b/breaking' },
|
||||||
|
];
|
||||||
|
|
||||||
|
for (const { name, url } of urls) {
|
||||||
|
Logger.info(`Fetching ${name}: ${url}`);
|
||||||
|
|
||||||
|
const html = await PuppeteerFetcher.fetchHTML(url);
|
||||||
|
|
||||||
|
if (html) {
|
||||||
|
// HTML을 파일로 저장
|
||||||
|
const filename = `debug-${name.toLowerCase()}.html`;
|
||||||
|
const filepath = path.join(__dirname, filename);
|
||||||
|
await fs.writeFile(filepath, html, 'utf-8');
|
||||||
|
Logger.success(`Saved HTML to ${filename} (${html.length} bytes)`);
|
||||||
|
|
||||||
|
// HTML 미리보기 (처음 500자)
|
||||||
|
Logger.info(`HTML Preview:\n${html.substring(0, 500)}...`);
|
||||||
|
} else {
|
||||||
|
Logger.error(`Failed to fetch ${name}`);
|
||||||
|
}
|
||||||
|
|
||||||
|
await PuppeteerFetcher.delay();
|
||||||
|
}
|
||||||
|
|
||||||
|
await PuppeteerFetcher.closeBrowser();
|
||||||
|
Logger.info('========== Debug completed ==========');
|
||||||
|
Logger.info('Check debug-ruliweb.html and debug-arcalive.html files');
|
||||||
|
}
|
||||||
|
|
||||||
|
debugHTML().catch((error) => {
|
||||||
|
Logger.error('Debug failed', error);
|
||||||
|
PuppeteerFetcher.closeBrowser().finally(() => process.exit(1));
|
||||||
|
});
|
||||||
55
crawler/src/index.ts
Normal file
55
crawler/src/index.ts
Normal file
@@ -0,0 +1,55 @@
|
|||||||
|
import cron from 'node-cron';
|
||||||
|
import { promises as fs } from 'fs';
|
||||||
|
import path from 'path';
|
||||||
|
import { fileURLToPath } from 'url';
|
||||||
|
import { RuliwebCrawler } from './crawlers/ruliweb.js';
|
||||||
|
import { ArcaliveCrawler } from './crawlers/arcalive.js';
|
||||||
|
import { PuppeteerFetcher } from './utils/puppeteer-fetcher.js';
|
||||||
|
import { Logger } from './utils/logger.js';
|
||||||
|
import { RULIWEB_BOARDS, ARCALIVE_CHANNELS } from './config.js';
|
||||||
|
import type { Post } from './types.js';
|
||||||
|
|
||||||
|
const __filename = fileURLToPath(import.meta.url);
|
||||||
|
const __dirname = path.dirname(__filename);
|
||||||
|
|
||||||
|
const OUTPUT_PATH = path.join(__dirname, '../../src/data/posts.json');
|
||||||
|
|
||||||
|
async function crawlAll(): Promise<void> {
|
||||||
|
Logger.info('========== Starting crawl job ==========');
|
||||||
|
|
||||||
|
const allPosts: Post[] = [];
|
||||||
|
|
||||||
|
// 루리웹 크롤링
|
||||||
|
const ruliwebCrawler = new RuliwebCrawler();
|
||||||
|
const ruliwebPosts = await ruliwebCrawler.crawlAll(RULIWEB_BOARDS);
|
||||||
|
allPosts.push(...ruliwebPosts);
|
||||||
|
|
||||||
|
// 아카라이브 크롤링
|
||||||
|
const arcaliveCrawler = new ArcaliveCrawler();
|
||||||
|
const arcalivePosts = await arcaliveCrawler.crawlAll(ARCALIVE_CHANNELS);
|
||||||
|
allPosts.push(...arcalivePosts);
|
||||||
|
|
||||||
|
// 결과 저장
|
||||||
|
try {
|
||||||
|
await fs.mkdir(path.dirname(OUTPUT_PATH), { recursive: true });
|
||||||
|
await fs.writeFile(OUTPUT_PATH, JSON.stringify(allPosts, null, 2), 'utf-8');
|
||||||
|
Logger.success(`Saved ${allPosts.length} posts to ${OUTPUT_PATH}`);
|
||||||
|
} catch (error) {
|
||||||
|
Logger.error('Failed to save posts', error);
|
||||||
|
}
|
||||||
|
|
||||||
|
// 브라우저 종료 (다음 실행 시 재초기화됨)
|
||||||
|
await PuppeteerFetcher.closeBrowser();
|
||||||
|
|
||||||
|
Logger.info('========== Crawl job completed ==========');
|
||||||
|
}
|
||||||
|
|
||||||
|
// 즉시 한 번 실행
|
||||||
|
await crawlAll();
|
||||||
|
|
||||||
|
// 30분마다 실행
|
||||||
|
cron.schedule('*/30 * * * *', async () => {
|
||||||
|
await crawlAll();
|
||||||
|
});
|
||||||
|
|
||||||
|
Logger.info('Crawler scheduler started. Running every 30 minutes.');
|
||||||
69
crawler/src/test.ts
Normal file
69
crawler/src/test.ts
Normal file
@@ -0,0 +1,69 @@
|
|||||||
|
import { promises as fs } from 'fs';
|
||||||
|
import path from 'path';
|
||||||
|
import { fileURLToPath } from 'url';
|
||||||
|
import { RuliwebCrawler } from './crawlers/ruliweb.js';
|
||||||
|
import { ArcaliveCrawler } from './crawlers/arcalive.js';
|
||||||
|
import { PuppeteerFetcher } from './utils/puppeteer-fetcher.js';
|
||||||
|
import { Logger } from './utils/logger.js';
|
||||||
|
import { RULIWEB_BOARDS, ARCALIVE_CHANNELS } from './config.js';
|
||||||
|
import type { Post } from './types.js';
|
||||||
|
|
||||||
|
const __filename = fileURLToPath(import.meta.url);
|
||||||
|
const __dirname = path.dirname(__filename);
|
||||||
|
|
||||||
|
const OUTPUT_PATH = path.join(__dirname, '../../src/data/posts.json');
|
||||||
|
|
||||||
|
async function test(): Promise<void> {
|
||||||
|
Logger.info('========== Starting test crawl ==========');
|
||||||
|
|
||||||
|
const allPosts: Post[] = [];
|
||||||
|
|
||||||
|
// 루리웹 테스트
|
||||||
|
Logger.info('Testing Ruliweb crawler...');
|
||||||
|
const ruliwebCrawler = new RuliwebCrawler();
|
||||||
|
const ruliwebPosts = await ruliwebCrawler.crawlAll(RULIWEB_BOARDS);
|
||||||
|
allPosts.push(...ruliwebPosts);
|
||||||
|
Logger.info(`Ruliweb: ${ruliwebPosts.length} posts`);
|
||||||
|
|
||||||
|
// 아카라이브 테스트
|
||||||
|
Logger.info('Testing Arcalive crawler...');
|
||||||
|
const arcaliveCrawler = new ArcaliveCrawler();
|
||||||
|
const arcalivePosts = await arcaliveCrawler.crawlAll(ARCALIVE_CHANNELS);
|
||||||
|
allPosts.push(...arcalivePosts);
|
||||||
|
Logger.info(`Arcalive: ${arcalivePosts.length} posts`);
|
||||||
|
|
||||||
|
// 결과 출력
|
||||||
|
Logger.info(`Total posts collected: ${allPosts.length}`);
|
||||||
|
|
||||||
|
if (allPosts.length > 0) {
|
||||||
|
Logger.info('Sample posts:');
|
||||||
|
allPosts.slice(0, 3).forEach((post, index) => {
|
||||||
|
console.log(`\n--- Post ${index + 1} ---`);
|
||||||
|
console.log(`Title: ${post.title}`);
|
||||||
|
console.log(`Author: ${post.author}`);
|
||||||
|
console.log(`Community: ${post.community}`);
|
||||||
|
console.log(`Board: ${post.board}`);
|
||||||
|
console.log(`Views: ${post.views}, Comments: ${post.comments}, Likes: ${post.likes}`);
|
||||||
|
console.log(`URL: ${post.url}`);
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
// 결과 저장
|
||||||
|
try {
|
||||||
|
await fs.mkdir(path.dirname(OUTPUT_PATH), { recursive: true });
|
||||||
|
await fs.writeFile(OUTPUT_PATH, JSON.stringify(allPosts, null, 2), 'utf-8');
|
||||||
|
Logger.success(`Saved ${allPosts.length} posts to ${OUTPUT_PATH}`);
|
||||||
|
} catch (error) {
|
||||||
|
Logger.error('Failed to save posts', error);
|
||||||
|
}
|
||||||
|
|
||||||
|
// 브라우저 종료
|
||||||
|
await PuppeteerFetcher.closeBrowser();
|
||||||
|
|
||||||
|
Logger.info('========== Test crawl completed ==========');
|
||||||
|
}
|
||||||
|
|
||||||
|
test().catch((error) => {
|
||||||
|
Logger.error('Test failed', error);
|
||||||
|
PuppeteerFetcher.closeBrowser().finally(() => process.exit(1));
|
||||||
|
});
|
||||||
27
crawler/src/types.ts
Normal file
27
crawler/src/types.ts
Normal file
@@ -0,0 +1,27 @@
|
|||||||
|
export type CommunityType = 'dcinside' | 'ruliweb' | 'arcalive';
|
||||||
|
|
||||||
|
export interface Post {
|
||||||
|
id: string;
|
||||||
|
title: string;
|
||||||
|
author: string;
|
||||||
|
community: CommunityType;
|
||||||
|
board: string;
|
||||||
|
content: string;
|
||||||
|
views: number;
|
||||||
|
comments: number;
|
||||||
|
likes: number;
|
||||||
|
timestamp: string;
|
||||||
|
url: string;
|
||||||
|
}
|
||||||
|
|
||||||
|
export interface CrawlerConfig {
|
||||||
|
delay: number;
|
||||||
|
maxRetries: number;
|
||||||
|
timeout: number;
|
||||||
|
maxPostsPerBoard: number;
|
||||||
|
}
|
||||||
|
|
||||||
|
export interface BoardConfig {
|
||||||
|
name: string;
|
||||||
|
url: string;
|
||||||
|
}
|
||||||
105
crawler/src/utils/fetcher.ts
Normal file
105
crawler/src/utils/fetcher.ts
Normal file
@@ -0,0 +1,105 @@
|
|||||||
|
import axios, { AxiosError } from 'axios';
|
||||||
|
import https from 'https';
|
||||||
|
import { Logger } from './logger.js';
|
||||||
|
import { CRAWLER_CONFIG, USER_AGENT } from '../config.js';
|
||||||
|
|
||||||
|
export class Fetcher {
|
||||||
|
private static cookieJar: Map<string, string> = new Map();
|
||||||
|
|
||||||
|
private static async sleep(ms: number): Promise<void> {
|
||||||
|
return new Promise((resolve) => setTimeout(resolve, ms));
|
||||||
|
}
|
||||||
|
|
||||||
|
private static getHostname(url: string): string {
|
||||||
|
try {
|
||||||
|
return new URL(url).hostname;
|
||||||
|
} catch {
|
||||||
|
return '';
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
static async fetchHTML(
|
||||||
|
url: string,
|
||||||
|
retries: number = CRAWLER_CONFIG.maxRetries
|
||||||
|
): Promise<string | null> {
|
||||||
|
const hostname = this.getHostname(url);
|
||||||
|
|
||||||
|
for (let attempt = 1; attempt <= retries; attempt++) {
|
||||||
|
try {
|
||||||
|
Logger.info(`Fetching: ${url} (attempt ${attempt}/${retries})`);
|
||||||
|
|
||||||
|
const headers: any = {
|
||||||
|
'User-Agent': USER_AGENT,
|
||||||
|
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8',
|
||||||
|
'Accept-Language': 'ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7',
|
||||||
|
'Accept-Encoding': 'gzip, deflate, br',
|
||||||
|
'Cache-Control': 'max-age=0',
|
||||||
|
'sec-ch-ua': '"Not_A Brand";v="8", "Chromium";v="120", "Google Chrome";v="120"',
|
||||||
|
'sec-ch-ua-mobile': '?0',
|
||||||
|
'sec-ch-ua-platform': '"Windows"',
|
||||||
|
'Sec-Fetch-Dest': 'document',
|
||||||
|
'Sec-Fetch-Mode': 'navigate',
|
||||||
|
'Sec-Fetch-Site': 'none',
|
||||||
|
'Sec-Fetch-User': '?1',
|
||||||
|
'Upgrade-Insecure-Requests': '1',
|
||||||
|
'DNT': '1',
|
||||||
|
};
|
||||||
|
|
||||||
|
// 쿠키가 있으면 추가
|
||||||
|
const cookie = this.cookieJar.get(hostname);
|
||||||
|
if (cookie) {
|
||||||
|
headers['Cookie'] = cookie;
|
||||||
|
}
|
||||||
|
|
||||||
|
const response = await axios.get(url, {
|
||||||
|
headers,
|
||||||
|
timeout: CRAWLER_CONFIG.timeout,
|
||||||
|
maxRedirects: 5,
|
||||||
|
httpsAgent: new https.Agent({
|
||||||
|
rejectUnauthorized: false,
|
||||||
|
keepAlive: true,
|
||||||
|
}),
|
||||||
|
});
|
||||||
|
|
||||||
|
// Set-Cookie 헤더 저장
|
||||||
|
const setCookie = response.headers['set-cookie'];
|
||||||
|
if (setCookie && setCookie.length > 0) {
|
||||||
|
this.cookieJar.set(hostname, setCookie.join('; '));
|
||||||
|
}
|
||||||
|
|
||||||
|
Logger.success(`Fetched: ${url}`);
|
||||||
|
return response.data;
|
||||||
|
} catch (error) {
|
||||||
|
const axiosError = error as AxiosError;
|
||||||
|
|
||||||
|
if (axiosError.response) {
|
||||||
|
Logger.error(
|
||||||
|
`HTTP ${axiosError.response.status} for ${url}`,
|
||||||
|
axiosError.message
|
||||||
|
);
|
||||||
|
// 403/401이면 응답 본문 확인
|
||||||
|
if (axiosError.response.status === 403 || axiosError.response.status === 401) {
|
||||||
|
Logger.warn(`Response body: ${String(axiosError.response.data).substring(0, 200)}`);
|
||||||
|
}
|
||||||
|
} else if (axiosError.request) {
|
||||||
|
Logger.error(`No response from ${url}`, axiosError.message);
|
||||||
|
} else {
|
||||||
|
Logger.error(`Error fetching ${url}`, axiosError.message);
|
||||||
|
}
|
||||||
|
|
||||||
|
if (attempt < retries) {
|
||||||
|
const backoffDelay = CRAWLER_CONFIG.delay * Math.pow(2, attempt - 1);
|
||||||
|
Logger.warn(`Retrying after ${backoffDelay}ms...`);
|
||||||
|
await this.sleep(backoffDelay);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
Logger.error(`Failed to fetch ${url} after ${retries} attempts`);
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
static async delay(): Promise<void> {
|
||||||
|
await this.sleep(CRAWLER_CONFIG.delay);
|
||||||
|
}
|
||||||
|
}
|
||||||
21
crawler/src/utils/logger.ts
Normal file
21
crawler/src/utils/logger.ts
Normal file
@@ -0,0 +1,21 @@
|
|||||||
|
export class Logger {
|
||||||
|
private static getTimestamp(): string {
|
||||||
|
return new Date().toISOString();
|
||||||
|
}
|
||||||
|
|
||||||
|
static info(message: string, ...args: any[]): void {
|
||||||
|
console.log(`[${this.getTimestamp()}] [INFO]`, message, ...args);
|
||||||
|
}
|
||||||
|
|
||||||
|
static error(message: string, ...args: any[]): void {
|
||||||
|
console.error(`[${this.getTimestamp()}] [ERROR]`, message, ...args);
|
||||||
|
}
|
||||||
|
|
||||||
|
static warn(message: string, ...args: any[]): void {
|
||||||
|
console.warn(`[${this.getTimestamp()}] [WARN]`, message, ...args);
|
||||||
|
}
|
||||||
|
|
||||||
|
static success(message: string, ...args: any[]): void {
|
||||||
|
console.log(`[${this.getTimestamp()}] [SUCCESS]`, message, ...args);
|
||||||
|
}
|
||||||
|
}
|
||||||
134
crawler/src/utils/puppeteer-fetcher.ts
Normal file
134
crawler/src/utils/puppeteer-fetcher.ts
Normal file
@@ -0,0 +1,134 @@
|
|||||||
|
import puppeteer from 'puppeteer-extra';
|
||||||
|
import StealthPlugin from 'puppeteer-extra-plugin-stealth';
|
||||||
|
import { Browser, Page } from 'puppeteer';
|
||||||
|
import { Logger } from './logger.js';
|
||||||
|
import { CRAWLER_CONFIG } from '../config.js';
|
||||||
|
|
||||||
|
// Stealth 플러그인 적용 (봇 탐지 우회)
|
||||||
|
puppeteer.use(StealthPlugin());
|
||||||
|
|
||||||
|
export class PuppeteerFetcher {
|
||||||
|
private static browser: Browser | null = null;
|
||||||
|
private static pagePool: Page[] = [];
|
||||||
|
|
||||||
|
private static async sleep(ms: number): Promise<void> {
|
||||||
|
return new Promise((resolve) => setTimeout(resolve, ms));
|
||||||
|
}
|
||||||
|
|
||||||
|
// 브라우저 초기화
|
||||||
|
static async initBrowser(): Promise<void> {
|
||||||
|
if (this.browser) return;
|
||||||
|
|
||||||
|
try {
|
||||||
|
Logger.info('Launching browser...');
|
||||||
|
this.browser = await puppeteer.launch({
|
||||||
|
headless: true, // headless 모드 (백그라운드 실행)
|
||||||
|
args: [
|
||||||
|
'--no-sandbox',
|
||||||
|
'--disable-setuid-sandbox',
|
||||||
|
'--disable-dev-shm-usage',
|
||||||
|
'--disable-accelerated-2d-canvas',
|
||||||
|
'--disable-gpu',
|
||||||
|
'--window-size=1920,1080',
|
||||||
|
'--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
|
||||||
|
],
|
||||||
|
});
|
||||||
|
Logger.success('Browser launched successfully');
|
||||||
|
} catch (error) {
|
||||||
|
Logger.error('Failed to launch browser', error);
|
||||||
|
throw error;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// 브라우저 종료
|
||||||
|
static async closeBrowser(): Promise<void> {
|
||||||
|
if (this.browser) {
|
||||||
|
await this.browser.close();
|
||||||
|
this.browser = null;
|
||||||
|
this.pagePool = [];
|
||||||
|
Logger.info('Browser closed');
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// HTML 가져오기
|
||||||
|
static async fetchHTML(
|
||||||
|
url: string,
|
||||||
|
retries: number = CRAWLER_CONFIG.maxRetries
|
||||||
|
): Promise<string | null> {
|
||||||
|
await this.initBrowser();
|
||||||
|
|
||||||
|
for (let attempt = 1; attempt <= retries; attempt++) {
|
||||||
|
let page: Page | null = null;
|
||||||
|
|
||||||
|
try {
|
||||||
|
Logger.info(`Fetching with Puppeteer: ${url} (attempt ${attempt}/${retries})`);
|
||||||
|
|
||||||
|
if (!this.browser) {
|
||||||
|
throw new Error('Browser not initialized');
|
||||||
|
}
|
||||||
|
|
||||||
|
// 새 페이지 생성
|
||||||
|
page = await this.browser.newPage();
|
||||||
|
|
||||||
|
// 타임아웃 설정
|
||||||
|
page.setDefaultTimeout(CRAWLER_CONFIG.timeout);
|
||||||
|
|
||||||
|
// User-Agent 설정
|
||||||
|
await page.setUserAgent(
|
||||||
|
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
|
||||||
|
);
|
||||||
|
|
||||||
|
// Extra HTTP 헤더 설정
|
||||||
|
await page.setExtraHTTPHeaders({
|
||||||
|
'Accept-Language': 'ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7',
|
||||||
|
});
|
||||||
|
|
||||||
|
// 페이지 이동
|
||||||
|
const response = await page.goto(url, {
|
||||||
|
waitUntil: 'networkidle2', // 네트워크 활동이 거의 없을 때까지 대기
|
||||||
|
timeout: CRAWLER_CONFIG.timeout,
|
||||||
|
});
|
||||||
|
|
||||||
|
if (!response) {
|
||||||
|
throw new Error('No response from page');
|
||||||
|
}
|
||||||
|
|
||||||
|
const status = response.status();
|
||||||
|
if (status !== 200) {
|
||||||
|
throw new Error(`HTTP ${status}`);
|
||||||
|
}
|
||||||
|
|
||||||
|
// 페이지 로딩 추가 대기 (JavaScript 실행 완료)
|
||||||
|
await this.sleep(2000);
|
||||||
|
|
||||||
|
// HTML 가져오기
|
||||||
|
const html = await page.content();
|
||||||
|
|
||||||
|
await page.close();
|
||||||
|
Logger.success(`Fetched: ${url} (${html.length} bytes)`);
|
||||||
|
|
||||||
|
return html;
|
||||||
|
} catch (error: any) {
|
||||||
|
if (page) {
|
||||||
|
await page.close().catch(() => {});
|
||||||
|
}
|
||||||
|
|
||||||
|
Logger.error(`Failed to fetch ${url}`, error.message);
|
||||||
|
|
||||||
|
if (attempt < retries) {
|
||||||
|
const backoffDelay = CRAWLER_CONFIG.delay * Math.pow(2, attempt - 1);
|
||||||
|
Logger.warn(`Retrying after ${backoffDelay}ms...`);
|
||||||
|
await this.sleep(backoffDelay);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
Logger.error(`Failed to fetch ${url} after ${retries} attempts`);
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
// 딜레이
|
||||||
|
static async delay(): Promise<void> {
|
||||||
|
await this.sleep(CRAWLER_CONFIG.delay);
|
||||||
|
}
|
||||||
|
}
|
||||||
34
crawler/test-search.js
Normal file
34
crawler/test-search.js
Normal file
@@ -0,0 +1,34 @@
|
|||||||
|
import axios from 'axios';
|
||||||
|
|
||||||
|
const USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36';
|
||||||
|
|
||||||
|
async function testUrls() {
|
||||||
|
const urls = [
|
||||||
|
'https://bbs.ruliweb.com/search?q=test',
|
||||||
|
'https://bbs.ruliweb.com/community/board/300143',
|
||||||
|
'https://bbs.ruliweb.com/best/selection',
|
||||||
|
'https://bbs.ruliweb.com/',
|
||||||
|
];
|
||||||
|
|
||||||
|
for (const url of urls) {
|
||||||
|
try {
|
||||||
|
console.log(`\nTesting: ${url}`);
|
||||||
|
const response = await axios.get(url, {
|
||||||
|
headers: {
|
||||||
|
'User-Agent': USER_AGENT,
|
||||||
|
},
|
||||||
|
timeout: 10000,
|
||||||
|
});
|
||||||
|
console.log(`✅ SUCCESS - Status: ${response.status}, Length: ${response.data.length}`);
|
||||||
|
} catch (error) {
|
||||||
|
if (error.response) {
|
||||||
|
const body = String(error.response.data).substring(0, 50);
|
||||||
|
console.log(`❌ FAILED - Status: ${error.response.status}, Body: ${body}`);
|
||||||
|
} else {
|
||||||
|
console.log(`❌ ERROR - ${error.message}`);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
testUrls();
|
||||||
16
crawler/tsconfig.json
Normal file
16
crawler/tsconfig.json
Normal file
@@ -0,0 +1,16 @@
|
|||||||
|
{
|
||||||
|
"compilerOptions": {
|
||||||
|
"target": "ES2022",
|
||||||
|
"module": "ESNext",
|
||||||
|
"moduleResolution": "node",
|
||||||
|
"esModuleInterop": true,
|
||||||
|
"strict": true,
|
||||||
|
"skipLibCheck": true,
|
||||||
|
"outDir": "./dist",
|
||||||
|
"rootDir": "./src",
|
||||||
|
"resolveJsonModule": true,
|
||||||
|
"declaration": true
|
||||||
|
},
|
||||||
|
"include": ["src/**/*"],
|
||||||
|
"exclude": ["node_modules", "dist"]
|
||||||
|
}
|
||||||
23
eslint.config.js
Normal file
23
eslint.config.js
Normal file
@@ -0,0 +1,23 @@
|
|||||||
|
import js from '@eslint/js'
|
||||||
|
import globals from 'globals'
|
||||||
|
import reactHooks from 'eslint-plugin-react-hooks'
|
||||||
|
import reactRefresh from 'eslint-plugin-react-refresh'
|
||||||
|
import tseslint from 'typescript-eslint'
|
||||||
|
import { defineConfig, globalIgnores } from 'eslint/config'
|
||||||
|
|
||||||
|
export default defineConfig([
|
||||||
|
globalIgnores(['dist']),
|
||||||
|
{
|
||||||
|
files: ['**/*.{ts,tsx}'],
|
||||||
|
extends: [
|
||||||
|
js.configs.recommended,
|
||||||
|
tseslint.configs.recommended,
|
||||||
|
reactHooks.configs.flat.recommended,
|
||||||
|
reactRefresh.configs.vite,
|
||||||
|
],
|
||||||
|
languageOptions: {
|
||||||
|
ecmaVersion: 2020,
|
||||||
|
globals: globals.browser,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
])
|
||||||
13
index.html
Normal file
13
index.html
Normal file
@@ -0,0 +1,13 @@
|
|||||||
|
<!doctype html>
|
||||||
|
<html lang="en">
|
||||||
|
<head>
|
||||||
|
<meta charset="UTF-8" />
|
||||||
|
<link rel="icon" type="image/svg+xml" href="/vite.svg" />
|
||||||
|
<meta name="viewport" content="width=device-width, initial-scale=1.0" />
|
||||||
|
<title>temp-project</title>
|
||||||
|
</head>
|
||||||
|
<body>
|
||||||
|
<div id="root"></div>
|
||||||
|
<script type="module" src="/src/main.tsx"></script>
|
||||||
|
</body>
|
||||||
|
</html>
|
||||||
4162
package-lock.json
generated
Normal file
4162
package-lock.json
generated
Normal file
File diff suppressed because it is too large
Load Diff
34
package.json
Normal file
34
package.json
Normal file
@@ -0,0 +1,34 @@
|
|||||||
|
{
|
||||||
|
"name": "temp-project",
|
||||||
|
"private": true,
|
||||||
|
"version": "0.0.0",
|
||||||
|
"type": "module",
|
||||||
|
"scripts": {
|
||||||
|
"dev": "vite",
|
||||||
|
"build": "tsc -b && vite build",
|
||||||
|
"lint": "eslint .",
|
||||||
|
"preview": "vite preview"
|
||||||
|
},
|
||||||
|
"dependencies": {
|
||||||
|
"react": "^19.2.0",
|
||||||
|
"react-dom": "^19.2.0"
|
||||||
|
},
|
||||||
|
"devDependencies": {
|
||||||
|
"@eslint/js": "^9.39.1",
|
||||||
|
"@tailwindcss/postcss": "^4.1.17",
|
||||||
|
"@types/node": "^24.10.0",
|
||||||
|
"@types/react": "^19.2.2",
|
||||||
|
"@types/react-dom": "^19.2.2",
|
||||||
|
"@vitejs/plugin-react": "^5.1.0",
|
||||||
|
"autoprefixer": "^10.4.22",
|
||||||
|
"eslint": "^9.39.1",
|
||||||
|
"eslint-plugin-react-hooks": "^7.0.1",
|
||||||
|
"eslint-plugin-react-refresh": "^0.4.24",
|
||||||
|
"globals": "^16.5.0",
|
||||||
|
"postcss": "^8.5.6",
|
||||||
|
"tailwindcss": "^4.1.17",
|
||||||
|
"typescript": "~5.9.3",
|
||||||
|
"typescript-eslint": "^8.46.3",
|
||||||
|
"vite": "^7.2.2"
|
||||||
|
}
|
||||||
|
}
|
||||||
6
postcss.config.js
Normal file
6
postcss.config.js
Normal file
@@ -0,0 +1,6 @@
|
|||||||
|
export default {
|
||||||
|
plugins: {
|
||||||
|
'@tailwindcss/postcss': {},
|
||||||
|
autoprefixer: {},
|
||||||
|
},
|
||||||
|
}
|
||||||
1
public/vite.svg
Normal file
1
public/vite.svg
Normal file
@@ -0,0 +1 @@
|
|||||||
|
<svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" class="iconify iconify--logos" width="31.88" height="32" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 257"><defs><linearGradient id="IconifyId1813088fe1fbc01fb466" x1="-.828%" x2="57.636%" y1="7.652%" y2="78.411%"><stop offset="0%" stop-color="#41D1FF"></stop><stop offset="100%" stop-color="#BD34FE"></stop></linearGradient><linearGradient id="IconifyId1813088fe1fbc01fb467" x1="43.376%" x2="50.316%" y1="2.242%" y2="89.03%"><stop offset="0%" stop-color="#FFEA83"></stop><stop offset="8.333%" stop-color="#FFDD35"></stop><stop offset="100%" stop-color="#FFA800"></stop></linearGradient></defs><path fill="url(#IconifyId1813088fe1fbc01fb466)" d="M255.153 37.938L134.897 252.976c-2.483 4.44-8.862 4.466-11.382.048L.875 37.958c-2.746-4.814 1.371-10.646 6.827-9.67l120.385 21.517a6.537 6.537 0 0 0 2.322-.004l117.867-21.483c5.438-.991 9.574 4.796 6.877 9.62Z"></path><path fill="url(#IconifyId1813088fe1fbc01fb467)" d="M185.432.063L96.44 17.501a3.268 3.268 0 0 0-2.634 3.014l-5.474 92.456a3.268 3.268 0 0 0 3.997 3.378l24.777-5.718c2.318-.535 4.413 1.507 3.936 3.838l-7.361 36.047c-.495 2.426 1.782 4.5 4.151 3.78l15.304-4.649c2.372-.72 4.652 1.36 4.15 3.788l-11.698 56.621c-.732 3.542 3.979 5.473 5.943 2.437l1.313-2.028l72.516-144.72c1.215-2.423-.88-5.186-3.54-4.672l-25.505 4.922c-2.396.462-4.435-1.77-3.759-4.114l16.646-57.705c.677-2.35-1.37-4.583-3.769-4.113Z"></path></svg>
|
||||||
|
After Width: | Height: | Size: 1.5 KiB |
19
src/App.tsx
Normal file
19
src/App.tsx
Normal file
@@ -0,0 +1,19 @@
|
|||||||
|
import { useState } from 'react';
|
||||||
|
import Header from './components/common/Header';
|
||||||
|
import PostList from './components/PostList';
|
||||||
|
import crawledPosts from './data/posts.json';
|
||||||
|
import type { Post } from './types';
|
||||||
|
|
||||||
|
function App() {
|
||||||
|
const [searchQuery, setSearchQuery] = useState('');
|
||||||
|
const posts = crawledPosts as Post[];
|
||||||
|
|
||||||
|
return (
|
||||||
|
<div className="min-h-screen bg-gray-50">
|
||||||
|
<Header onSearch={setSearchQuery} />
|
||||||
|
<PostList posts={posts} searchQuery={searchQuery} />
|
||||||
|
</div>
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
export default App;
|
||||||
1
src/assets/react.svg
Normal file
1
src/assets/react.svg
Normal file
@@ -0,0 +1 @@
|
|||||||
|
<svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" class="iconify iconify--logos" width="35.93" height="32" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 228"><path fill="#00D8FF" d="M210.483 73.824a171.49 171.49 0 0 0-8.24-2.597c.465-1.9.893-3.777 1.273-5.621c6.238-30.281 2.16-54.676-11.769-62.708c-13.355-7.7-35.196.329-57.254 19.526a171.23 171.23 0 0 0-6.375 5.848a155.866 155.866 0 0 0-4.241-3.917C100.759 3.829 77.587-4.822 63.673 3.233C50.33 10.957 46.379 33.89 51.995 62.588a170.974 170.974 0 0 0 1.892 8.48c-3.28.932-6.445 1.924-9.474 2.98C17.309 83.498 0 98.307 0 113.668c0 15.865 18.582 31.778 46.812 41.427a145.52 145.52 0 0 0 6.921 2.165a167.467 167.467 0 0 0-2.01 9.138c-5.354 28.2-1.173 50.591 12.134 58.266c13.744 7.926 36.812-.22 59.273-19.855a145.567 145.567 0 0 0 5.342-4.923a168.064 168.064 0 0 0 6.92 6.314c21.758 18.722 43.246 26.282 56.54 18.586c13.731-7.949 18.194-32.003 12.4-61.268a145.016 145.016 0 0 0-1.535-6.842c1.62-.48 3.21-.974 4.76-1.488c29.348-9.723 48.443-25.443 48.443-41.52c0-15.417-17.868-30.326-45.517-39.844Zm-6.365 70.984c-1.4.463-2.836.91-4.3 1.345c-3.24-10.257-7.612-21.163-12.963-32.432c5.106-11 9.31-21.767 12.459-31.957c2.619.758 5.16 1.557 7.61 2.4c23.69 8.156 38.14 20.213 38.14 29.504c0 9.896-15.606 22.743-40.946 31.14Zm-10.514 20.834c2.562 12.94 2.927 24.64 1.23 33.787c-1.524 8.219-4.59 13.698-8.382 15.893c-8.067 4.67-25.32-1.4-43.927-17.412a156.726 156.726 0 0 1-6.437-5.87c7.214-7.889 14.423-17.06 21.459-27.246c12.376-1.098 24.068-2.894 34.671-5.345a134.17 134.17 0 0 1 1.386 6.193ZM87.276 214.515c-7.882 2.783-14.16 2.863-17.955.675c-8.075-4.657-11.432-22.636-6.853-46.752a156.923 156.923 0 0 1 1.869-8.499c10.486 2.32 22.093 3.988 34.498 4.994c7.084 9.967 14.501 19.128 21.976 27.15a134.668 134.668 0 0 1-4.877 4.492c-9.933 8.682-19.886 14.842-28.658 17.94ZM50.35 144.747c-12.483-4.267-22.792-9.812-29.858-15.863c-6.35-5.437-9.555-10.836-9.555-15.216c0-9.322 13.897-21.212 37.076-29.293c2.813-.98 5.757-1.905 8.812-2.773c3.204 10.42 7.406 21.315 12.477 32.332c-5.137 11.18-9.399 22.249-12.634 32.792a134.718 134.718 0 0 1-6.318-1.979Zm12.378-84.26c-4.811-24.587-1.616-43.134 6.425-47.789c8.564-4.958 27.502 2.111 47.463 19.835a144.318 144.318 0 0 1 3.841 3.545c-7.438 7.987-14.787 17.08-21.808 26.988c-12.04 1.116-23.565 2.908-34.161 5.309a160.342 160.342 0 0 1-1.76-7.887Zm110.427 27.268a347.8 347.8 0 0 0-7.785-12.803c8.168 1.033 15.994 2.404 23.343 4.08c-2.206 7.072-4.956 14.465-8.193 22.045a381.151 381.151 0 0 0-7.365-13.322Zm-45.032-43.861c5.044 5.465 10.096 11.566 15.065 18.186a322.04 322.04 0 0 0-30.257-.006c4.974-6.559 10.069-12.652 15.192-18.18ZM82.802 87.83a323.167 323.167 0 0 0-7.227 13.238c-3.184-7.553-5.909-14.98-8.134-22.152c7.304-1.634 15.093-2.97 23.209-3.984a321.524 321.524 0 0 0-7.848 12.897Zm8.081 65.352c-8.385-.936-16.291-2.203-23.593-3.793c2.26-7.3 5.045-14.885 8.298-22.6a321.187 321.187 0 0 0 7.257 13.246c2.594 4.48 5.28 8.868 8.038 13.147Zm37.542 31.03c-5.184-5.592-10.354-11.779-15.403-18.433c4.902.192 9.899.29 14.978.29c5.218 0 10.376-.117 15.453-.343c-4.985 6.774-10.018 12.97-15.028 18.486Zm52.198-57.817c3.422 7.8 6.306 15.345 8.596 22.52c-7.422 1.694-15.436 3.058-23.88 4.071a382.417 382.417 0 0 0 7.859-13.026a347.403 347.403 0 0 0 7.425-13.565Zm-16.898 8.101a358.557 358.557 0 0 1-12.281 19.815a329.4 329.4 0 0 1-23.444.823c-7.967 0-15.716-.248-23.178-.732a310.202 310.202 0 0 1-12.513-19.846h.001a307.41 307.41 0 0 1-10.923-20.627a310.278 310.278 0 0 1 10.89-20.637l-.001.001a307.318 307.318 0 0 1 12.413-19.761c7.613-.576 15.42-.876 23.31-.876H128c7.926 0 15.743.303 23.354.883a329.357 329.357 0 0 1 12.335 19.695a358.489 358.489 0 0 1 11.036 20.54a329.472 329.472 0 0 1-11 20.722Zm22.56-122.124c8.572 4.944 11.906 24.881 6.52 51.026c-.344 1.668-.73 3.367-1.15 5.09c-10.622-2.452-22.155-4.275-34.23-5.408c-7.034-10.017-14.323-19.124-21.64-27.008a160.789 160.789 0 0 1 5.888-5.4c18.9-16.447 36.564-22.941 44.612-18.3ZM128 90.808c12.625 0 22.86 10.235 22.86 22.86s-10.235 22.86-22.86 22.86s-22.86-10.235-22.86-22.86s10.235-22.86 22.86-22.86Z"></path></svg>
|
||||||
|
After Width: | Height: | Size: 4.0 KiB |
73
src/components/PostList.tsx
Normal file
73
src/components/PostList.tsx
Normal file
@@ -0,0 +1,73 @@
|
|||||||
|
import React, { useState } from 'react';
|
||||||
|
import type { Post, CommunityFilter } from '../types';
|
||||||
|
import PostCard from './common/PostCard';
|
||||||
|
import PostModal from './common/PostModal';
|
||||||
|
|
||||||
|
interface PostListProps {
|
||||||
|
posts: Post[];
|
||||||
|
searchQuery: string;
|
||||||
|
}
|
||||||
|
|
||||||
|
const PostList: React.FC<PostListProps> = ({ posts, searchQuery }) => {
|
||||||
|
const [selectedPost, setSelectedPost] = useState<Post | null>(null);
|
||||||
|
const [activeFilter, setActiveFilter] = useState<string>('all');
|
||||||
|
|
||||||
|
const filters: CommunityFilter[] = [
|
||||||
|
{ name: '전체', value: 'all', color: 'bg-gray-500' },
|
||||||
|
{ name: '디시인사이드', value: 'dcinside', color: 'bg-blue-500' },
|
||||||
|
{ name: '루리웹', value: 'ruliweb', color: 'bg-green-500' },
|
||||||
|
{ name: '아카라이브', value: 'arcalive', color: 'bg-purple-500' },
|
||||||
|
];
|
||||||
|
|
||||||
|
const filteredPosts = posts.filter((post) => {
|
||||||
|
const matchesFilter = activeFilter === 'all' || post.community === activeFilter;
|
||||||
|
const matchesSearch = searchQuery === '' ||
|
||||||
|
post.title.toLowerCase().includes(searchQuery.toLowerCase()) ||
|
||||||
|
post.content.toLowerCase().includes(searchQuery.toLowerCase());
|
||||||
|
|
||||||
|
return matchesFilter && matchesSearch;
|
||||||
|
});
|
||||||
|
|
||||||
|
return (
|
||||||
|
<div className="max-w-7xl mx-auto px-4 py-6">
|
||||||
|
<div className="flex gap-2 mb-6">
|
||||||
|
{filters.map((filter) => (
|
||||||
|
<button
|
||||||
|
key={filter.value}
|
||||||
|
onClick={() => setActiveFilter(filter.value)}
|
||||||
|
className={`px-4 py-2 rounded-lg font-semibold transition-colors ${
|
||||||
|
activeFilter === filter.value
|
||||||
|
? `${filter.color} text-white`
|
||||||
|
: 'bg-gray-200 text-gray-700 hover:bg-gray-300'
|
||||||
|
}`}
|
||||||
|
>
|
||||||
|
{filter.name}
|
||||||
|
</button>
|
||||||
|
))}
|
||||||
|
</div>
|
||||||
|
|
||||||
|
{filteredPosts.length === 0 ? (
|
||||||
|
<div className="text-center py-12 text-gray-500">
|
||||||
|
검색 결과가 없습니다.
|
||||||
|
</div>
|
||||||
|
) : (
|
||||||
|
<div className="grid grid-cols-1 md:grid-cols-2 lg:grid-cols-3 gap-4">
|
||||||
|
{filteredPosts.map((post) => (
|
||||||
|
<PostCard
|
||||||
|
key={post.id}
|
||||||
|
post={post}
|
||||||
|
onClick={() => setSelectedPost(post)}
|
||||||
|
/>
|
||||||
|
))}
|
||||||
|
</div>
|
||||||
|
)}
|
||||||
|
|
||||||
|
<PostModal
|
||||||
|
post={selectedPost}
|
||||||
|
onClose={() => setSelectedPost(null)}
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
);
|
||||||
|
};
|
||||||
|
|
||||||
|
export default PostList;
|
||||||
43
src/components/common/Header.tsx
Normal file
43
src/components/common/Header.tsx
Normal file
@@ -0,0 +1,43 @@
|
|||||||
|
import React from 'react';
|
||||||
|
|
||||||
|
interface HeaderProps {
|
||||||
|
onSearch: (query: string) => void;
|
||||||
|
}
|
||||||
|
|
||||||
|
const Header: React.FC<HeaderProps> = ({ onSearch }) => {
|
||||||
|
const [searchQuery, setSearchQuery] = React.useState('');
|
||||||
|
|
||||||
|
const handleSearch = (e: React.FormEvent) => {
|
||||||
|
e.preventDefault();
|
||||||
|
onSearch(searchQuery);
|
||||||
|
};
|
||||||
|
|
||||||
|
return (
|
||||||
|
<header className="bg-white shadow-md sticky top-0 z-10">
|
||||||
|
<div className="max-w-7xl mx-auto px-4 py-4">
|
||||||
|
<div className="flex items-center justify-between">
|
||||||
|
<h1 className="text-2xl font-bold text-gray-800">
|
||||||
|
한국 커뮤니티 애그리게이터
|
||||||
|
</h1>
|
||||||
|
<form onSubmit={handleSearch} className="flex gap-2">
|
||||||
|
<input
|
||||||
|
type="text"
|
||||||
|
value={searchQuery}
|
||||||
|
onChange={(e) => setSearchQuery(e.target.value)}
|
||||||
|
placeholder="게시글 검색..."
|
||||||
|
className="px-4 py-2 border border-gray-300 rounded-lg focus:outline-none focus:ring-2 focus:ring-blue-500"
|
||||||
|
/>
|
||||||
|
<button
|
||||||
|
type="submit"
|
||||||
|
className="px-6 py-2 bg-blue-500 text-white rounded-lg hover:bg-blue-600 transition-colors"
|
||||||
|
>
|
||||||
|
검색
|
||||||
|
</button>
|
||||||
|
</form>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</header>
|
||||||
|
);
|
||||||
|
};
|
||||||
|
|
||||||
|
export default Header;
|
||||||
77
src/components/common/PostCard.tsx
Normal file
77
src/components/common/PostCard.tsx
Normal file
@@ -0,0 +1,77 @@
|
|||||||
|
import React from 'react';
|
||||||
|
import type { Post } from '../../types';
|
||||||
|
|
||||||
|
interface PostCardProps {
|
||||||
|
post: Post;
|
||||||
|
onClick: () => void;
|
||||||
|
}
|
||||||
|
|
||||||
|
const PostCard: React.FC<PostCardProps> = ({ post, onClick }) => {
|
||||||
|
const getCommunityColor = (community: string) => {
|
||||||
|
switch (community) {
|
||||||
|
case 'dcinside':
|
||||||
|
return 'bg-blue-100 text-blue-800';
|
||||||
|
case 'ruliweb':
|
||||||
|
return 'bg-green-100 text-green-800';
|
||||||
|
case 'arcalive':
|
||||||
|
return 'bg-purple-100 text-purple-800';
|
||||||
|
default:
|
||||||
|
return 'bg-gray-100 text-gray-800';
|
||||||
|
}
|
||||||
|
};
|
||||||
|
|
||||||
|
const getCommunityName = (community: string) => {
|
||||||
|
switch (community) {
|
||||||
|
case 'dcinside':
|
||||||
|
return '디시인사이드';
|
||||||
|
case 'ruliweb':
|
||||||
|
return '루리웹';
|
||||||
|
case 'arcalive':
|
||||||
|
return '아카라이브';
|
||||||
|
default:
|
||||||
|
return community;
|
||||||
|
}
|
||||||
|
};
|
||||||
|
|
||||||
|
return (
|
||||||
|
<div
|
||||||
|
onClick={onClick}
|
||||||
|
className="bg-white rounded-lg shadow-md p-4 hover:shadow-lg transition-shadow cursor-pointer border border-gray-200"
|
||||||
|
>
|
||||||
|
<div className="flex items-start justify-between mb-2">
|
||||||
|
<span
|
||||||
|
className={`px-3 py-1 rounded-full text-xs font-semibold ${getCommunityColor(
|
||||||
|
post.community
|
||||||
|
)}`}
|
||||||
|
>
|
||||||
|
{getCommunityName(post.community)}
|
||||||
|
</span>
|
||||||
|
<span className="text-xs text-gray-500">
|
||||||
|
{new Date(post.timestamp).toLocaleString('ko-KR')}
|
||||||
|
</span>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<h3 className="text-lg font-semibold text-gray-800 mb-2 line-clamp-2">
|
||||||
|
{post.title}
|
||||||
|
</h3>
|
||||||
|
|
||||||
|
<p className="text-sm text-gray-600 mb-3 line-clamp-2">
|
||||||
|
{post.content}
|
||||||
|
</p>
|
||||||
|
|
||||||
|
<div className="flex items-center justify-between text-xs text-gray-500">
|
||||||
|
<div className="flex items-center gap-4">
|
||||||
|
<span>{post.board}</span>
|
||||||
|
<span>작성자: {post.author}</span>
|
||||||
|
</div>
|
||||||
|
<div className="flex items-center gap-3">
|
||||||
|
<span>조회 {post.views.toLocaleString()}</span>
|
||||||
|
<span>댓글 {post.comments}</span>
|
||||||
|
<span>추천 {post.likes}</span>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
);
|
||||||
|
};
|
||||||
|
|
||||||
|
export default PostCard;
|
||||||
94
src/components/common/PostModal.tsx
Normal file
94
src/components/common/PostModal.tsx
Normal file
@@ -0,0 +1,94 @@
|
|||||||
|
import React from 'react';
|
||||||
|
import type { Post } from '../../types';
|
||||||
|
|
||||||
|
interface PostModalProps {
|
||||||
|
post: Post | null;
|
||||||
|
onClose: () => void;
|
||||||
|
}
|
||||||
|
|
||||||
|
const PostModal: React.FC<PostModalProps> = ({ post, onClose }) => {
|
||||||
|
if (!post) return null;
|
||||||
|
|
||||||
|
const getCommunityName = (community: string) => {
|
||||||
|
switch (community) {
|
||||||
|
case 'dcinside':
|
||||||
|
return '디시인사이드';
|
||||||
|
case 'ruliweb':
|
||||||
|
return '루리웹';
|
||||||
|
case 'arcalive':
|
||||||
|
return '아카라이브';
|
||||||
|
default:
|
||||||
|
return community;
|
||||||
|
}
|
||||||
|
};
|
||||||
|
|
||||||
|
return (
|
||||||
|
<div
|
||||||
|
className="fixed inset-0 bg-black bg-opacity-50 flex items-center justify-center z-50 p-4"
|
||||||
|
onClick={onClose}
|
||||||
|
>
|
||||||
|
<div
|
||||||
|
className="bg-white rounded-lg max-w-3xl w-full max-h-[90vh] overflow-y-auto"
|
||||||
|
onClick={(e) => e.stopPropagation()}
|
||||||
|
>
|
||||||
|
<div className="sticky top-0 bg-white border-b border-gray-200 px-6 py-4 flex justify-between items-center">
|
||||||
|
<h2 className="text-xl font-bold text-gray-800">게시글 상세보기</h2>
|
||||||
|
<button
|
||||||
|
onClick={onClose}
|
||||||
|
className="text-gray-500 hover:text-gray-700 text-2xl"
|
||||||
|
>
|
||||||
|
×
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div className="p-6">
|
||||||
|
<div className="mb-4">
|
||||||
|
<span className="text-sm text-gray-500">
|
||||||
|
{getCommunityName(post.community)} > {post.board}
|
||||||
|
</span>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<h3 className="text-2xl font-bold text-gray-800 mb-4">
|
||||||
|
{post.title}
|
||||||
|
</h3>
|
||||||
|
|
||||||
|
<div className="flex items-center gap-4 text-sm text-gray-600 mb-6 pb-4 border-b border-gray-200">
|
||||||
|
<span>작성자: {post.author}</span>
|
||||||
|
<span>|</span>
|
||||||
|
<span>{new Date(post.timestamp).toLocaleString('ko-KR')}</span>
|
||||||
|
<span>|</span>
|
||||||
|
<span>조회 {post.views.toLocaleString()}</span>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div className="prose max-w-none mb-6">
|
||||||
|
<p className="text-gray-700 whitespace-pre-wrap">{post.content}</p>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div className="flex items-center gap-6 py-4 border-t border-gray-200">
|
||||||
|
<div className="flex items-center gap-2">
|
||||||
|
<span className="text-sm text-gray-600">댓글</span>
|
||||||
|
<span className="font-semibold text-blue-600">{post.comments}</span>
|
||||||
|
</div>
|
||||||
|
<div className="flex items-center gap-2">
|
||||||
|
<span className="text-sm text-gray-600">추천</span>
|
||||||
|
<span className="font-semibold text-green-600">{post.likes}</span>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div className="mt-4">
|
||||||
|
<a
|
||||||
|
href={post.url}
|
||||||
|
target="_blank"
|
||||||
|
rel="noopener noreferrer"
|
||||||
|
className="inline-block px-4 py-2 bg-blue-500 text-white rounded-lg hover:bg-blue-600 transition-colors"
|
||||||
|
>
|
||||||
|
원문 보기
|
||||||
|
</a>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
);
|
||||||
|
};
|
||||||
|
|
||||||
|
export default PostModal;
|
||||||
132
src/data/mock-posts.json
Normal file
132
src/data/mock-posts.json
Normal file
@@ -0,0 +1,132 @@
|
|||||||
|
[
|
||||||
|
{
|
||||||
|
"id": "dc-001",
|
||||||
|
"title": "오늘 점심 뭐 먹을지 고민이네요",
|
||||||
|
"author": "디시유저1",
|
||||||
|
"community": "dcinside",
|
||||||
|
"board": "야구갤러리",
|
||||||
|
"content": "점심시간이 다가오는데 뭘 먹을지 정말 고민입니다. 여러분은 보통 점심에 뭐 드시나요? 추천 좀 부탁드립니다.",
|
||||||
|
"views": 1234,
|
||||||
|
"comments": 42,
|
||||||
|
"likes": 15,
|
||||||
|
"timestamp": "2025-11-15T12:30:00Z",
|
||||||
|
"url": "https://gall.dcinside.com/board/view/?id=baseball_new&no=001"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "dc-002",
|
||||||
|
"title": "신규 게임 출시 정보",
|
||||||
|
"author": "게임매니아",
|
||||||
|
"community": "dcinside",
|
||||||
|
"board": "게임갤러리",
|
||||||
|
"content": "다음 주에 출시되는 신규 게임 정보를 정리해봤습니다. 기대되는 타이틀이 많네요.",
|
||||||
|
"views": 5678,
|
||||||
|
"comments": 89,
|
||||||
|
"likes": 203,
|
||||||
|
"timestamp": "2025-11-15T11:15:00Z",
|
||||||
|
"url": "https://gall.dcinside.com/board/view/?id=game&no=002"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "rw-001",
|
||||||
|
"title": "최신 그래픽카드 벤치마크 결과",
|
||||||
|
"author": "하드웨어덕후",
|
||||||
|
"community": "ruliweb",
|
||||||
|
"board": "하드웨어 게시판",
|
||||||
|
"content": "최신 출시된 그래픽카드의 벤치마크 결과를 공유합니다. 성능이 예상보다 좋네요.",
|
||||||
|
"views": 3456,
|
||||||
|
"comments": 67,
|
||||||
|
"likes": 145,
|
||||||
|
"timestamp": "2025-11-15T10:45:00Z",
|
||||||
|
"url": "https://bbs.ruliweb.com/community/board/001"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "rw-002",
|
||||||
|
"title": "오늘 날씨 진짜 좋네요",
|
||||||
|
"author": "날씨관찰자",
|
||||||
|
"community": "ruliweb",
|
||||||
|
"board": "유머 게시판",
|
||||||
|
"content": "오늘 날씨가 정말 화창하고 좋습니다. 산책하기 딱 좋은 날씨예요!",
|
||||||
|
"views": 2345,
|
||||||
|
"comments": 34,
|
||||||
|
"likes": 78,
|
||||||
|
"timestamp": "2025-11-15T09:20:00Z",
|
||||||
|
"url": "https://bbs.ruliweb.com/community/board/002"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "rw-003",
|
||||||
|
"title": "추천 영화 리뷰",
|
||||||
|
"author": "영화평론가",
|
||||||
|
"community": "ruliweb",
|
||||||
|
"board": "영화 게시판",
|
||||||
|
"content": "최근에 본 영화 중에서 가장 인상 깊었던 작품을 소개합니다. 스토리가 탄탄하고 연출도 훌륭했어요.",
|
||||||
|
"views": 4567,
|
||||||
|
"comments": 92,
|
||||||
|
"likes": 187,
|
||||||
|
"timestamp": "2025-11-15T08:30:00Z",
|
||||||
|
"url": "https://bbs.ruliweb.com/community/board/003"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "arc-001",
|
||||||
|
"title": "오늘의 요리 레시피",
|
||||||
|
"author": "요리왕",
|
||||||
|
"community": "arcalive",
|
||||||
|
"board": "요리 채널",
|
||||||
|
"content": "간단하게 만들 수 있는 파스타 레시피를 공유합니다. 초보자도 쉽게 따라할 수 있어요.",
|
||||||
|
"views": 1890,
|
||||||
|
"comments": 45,
|
||||||
|
"likes": 123,
|
||||||
|
"timestamp": "2025-11-15T13:00:00Z",
|
||||||
|
"url": "https://arca.live/b/cooking/001"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "arc-002",
|
||||||
|
"title": "프로그래밍 공부 팁",
|
||||||
|
"author": "코딩마스터",
|
||||||
|
"community": "arcalive",
|
||||||
|
"board": "프로그래밍 채널",
|
||||||
|
"content": "프로그래밍을 효율적으로 공부하는 방법에 대해 정리했습니다. 초보자분들께 도움이 되었으면 좋겠습니다.",
|
||||||
|
"views": 3210,
|
||||||
|
"comments": 78,
|
||||||
|
"likes": 234,
|
||||||
|
"timestamp": "2025-11-15T12:00:00Z",
|
||||||
|
"url": "https://arca.live/b/programming/002"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "dc-003",
|
||||||
|
"title": "주말 여행 추천지",
|
||||||
|
"author": "여행러버",
|
||||||
|
"community": "dcinside",
|
||||||
|
"board": "여행갤러리",
|
||||||
|
"content": "이번 주말에 가기 좋은 여행지를 추천합니다. 날씨도 좋고 경치도 아름다운 곳이에요.",
|
||||||
|
"views": 2890,
|
||||||
|
"comments": 56,
|
||||||
|
"likes": 167,
|
||||||
|
"timestamp": "2025-11-15T11:45:00Z",
|
||||||
|
"url": "https://gall.dcinside.com/board/view/?id=travel&no=003"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "arc-003",
|
||||||
|
"title": "반려동물 키우기 팁",
|
||||||
|
"author": "펫러버",
|
||||||
|
"community": "arcalive",
|
||||||
|
"board": "반려동물 채널",
|
||||||
|
"content": "반려동물을 처음 키우시는 분들을 위한 기본적인 관리 팁을 정리했습니다.",
|
||||||
|
"views": 1560,
|
||||||
|
"comments": 38,
|
||||||
|
"likes": 89,
|
||||||
|
"timestamp": "2025-11-15T10:15:00Z",
|
||||||
|
"url": "https://arca.live/b/pet/003"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "rw-004",
|
||||||
|
"title": "운동 루틴 공유",
|
||||||
|
"author": "헬스매니아",
|
||||||
|
"community": "ruliweb",
|
||||||
|
"board": "건강 게시판",
|
||||||
|
"content": "제가 6개월간 실천한 운동 루틴을 공유합니다. 체중 감량에 효과가 있었어요.",
|
||||||
|
"views": 4123,
|
||||||
|
"comments": 95,
|
||||||
|
"likes": 278,
|
||||||
|
"timestamp": "2025-11-15T09:00:00Z",
|
||||||
|
"url": "https://bbs.ruliweb.com/community/board/004"
|
||||||
|
}
|
||||||
|
]
|
||||||
1
src/data/posts.json
Normal file
1
src/data/posts.json
Normal file
@@ -0,0 +1 @@
|
|||||||
|
[]
|
||||||
1
src/index.css
Normal file
1
src/index.css
Normal file
@@ -0,0 +1 @@
|
|||||||
|
@import "tailwindcss";
|
||||||
10
src/main.tsx
Normal file
10
src/main.tsx
Normal file
@@ -0,0 +1,10 @@
|
|||||||
|
import { StrictMode } from 'react'
|
||||||
|
import { createRoot } from 'react-dom/client'
|
||||||
|
import './index.css'
|
||||||
|
import App from './App.tsx'
|
||||||
|
|
||||||
|
createRoot(document.getElementById('root')!).render(
|
||||||
|
<StrictMode>
|
||||||
|
<App />
|
||||||
|
</StrictMode>,
|
||||||
|
)
|
||||||
21
src/types/index.ts
Normal file
21
src/types/index.ts
Normal file
@@ -0,0 +1,21 @@
|
|||||||
|
export type CommunityType = 'dcinside' | 'ruliweb' | 'arcalive';
|
||||||
|
|
||||||
|
export interface Post {
|
||||||
|
id: string;
|
||||||
|
title: string;
|
||||||
|
author: string;
|
||||||
|
community: CommunityType;
|
||||||
|
board: string;
|
||||||
|
content: string;
|
||||||
|
views: number;
|
||||||
|
comments: number;
|
||||||
|
likes: number;
|
||||||
|
timestamp: string;
|
||||||
|
url: string;
|
||||||
|
}
|
||||||
|
|
||||||
|
export interface CommunityFilter {
|
||||||
|
name: string;
|
||||||
|
value: CommunityType | 'all';
|
||||||
|
color: string;
|
||||||
|
}
|
||||||
29
tsconfig.app.json
Normal file
29
tsconfig.app.json
Normal file
@@ -0,0 +1,29 @@
|
|||||||
|
{
|
||||||
|
"compilerOptions": {
|
||||||
|
"tsBuildInfoFile": "./node_modules/.tmp/tsconfig.app.tsbuildinfo",
|
||||||
|
"target": "ES2022",
|
||||||
|
"useDefineForClassFields": true,
|
||||||
|
"lib": ["ES2022", "DOM", "DOM.Iterable"],
|
||||||
|
"module": "ESNext",
|
||||||
|
"types": ["vite/client"],
|
||||||
|
"skipLibCheck": true,
|
||||||
|
|
||||||
|
/* Bundler mode */
|
||||||
|
"moduleResolution": "bundler",
|
||||||
|
"allowImportingTsExtensions": true,
|
||||||
|
"resolveJsonModule": true,
|
||||||
|
"verbatimModuleSyntax": true,
|
||||||
|
"moduleDetection": "force",
|
||||||
|
"noEmit": true,
|
||||||
|
"jsx": "react-jsx",
|
||||||
|
|
||||||
|
/* Linting */
|
||||||
|
"strict": true,
|
||||||
|
"noUnusedLocals": true,
|
||||||
|
"noUnusedParameters": true,
|
||||||
|
"erasableSyntaxOnly": true,
|
||||||
|
"noFallthroughCasesInSwitch": true,
|
||||||
|
"noUncheckedSideEffectImports": true
|
||||||
|
},
|
||||||
|
"include": ["src"]
|
||||||
|
}
|
||||||
7
tsconfig.json
Normal file
7
tsconfig.json
Normal file
@@ -0,0 +1,7 @@
|
|||||||
|
{
|
||||||
|
"files": [],
|
||||||
|
"references": [
|
||||||
|
{ "path": "./tsconfig.app.json" },
|
||||||
|
{ "path": "./tsconfig.node.json" }
|
||||||
|
]
|
||||||
|
}
|
||||||
26
tsconfig.node.json
Normal file
26
tsconfig.node.json
Normal file
@@ -0,0 +1,26 @@
|
|||||||
|
{
|
||||||
|
"compilerOptions": {
|
||||||
|
"tsBuildInfoFile": "./node_modules/.tmp/tsconfig.node.tsbuildinfo",
|
||||||
|
"target": "ES2023",
|
||||||
|
"lib": ["ES2023"],
|
||||||
|
"module": "ESNext",
|
||||||
|
"types": ["node"],
|
||||||
|
"skipLibCheck": true,
|
||||||
|
|
||||||
|
/* Bundler mode */
|
||||||
|
"moduleResolution": "bundler",
|
||||||
|
"allowImportingTsExtensions": true,
|
||||||
|
"verbatimModuleSyntax": true,
|
||||||
|
"moduleDetection": "force",
|
||||||
|
"noEmit": true,
|
||||||
|
|
||||||
|
/* Linting */
|
||||||
|
"strict": true,
|
||||||
|
"noUnusedLocals": true,
|
||||||
|
"noUnusedParameters": true,
|
||||||
|
"erasableSyntaxOnly": true,
|
||||||
|
"noFallthroughCasesInSwitch": true,
|
||||||
|
"noUncheckedSideEffectImports": true
|
||||||
|
},
|
||||||
|
"include": ["vite.config.ts"]
|
||||||
|
}
|
||||||
7
vite.config.ts
Normal file
7
vite.config.ts
Normal file
@@ -0,0 +1,7 @@
|
|||||||
|
import { defineConfig } from 'vite'
|
||||||
|
import react from '@vitejs/plugin-react'
|
||||||
|
|
||||||
|
// https://vite.dev/config/
|
||||||
|
export default defineConfig({
|
||||||
|
plugins: [react()],
|
||||||
|
})
|
||||||
Reference in New Issue
Block a user