A pi skill for crawling technical documentation sites and saving content as AI-friendly Markdown
link-crawler recursively crawls web pages starting from a specified URL and saves the collected content as structured Markdown optimized for AI context. Perfect for importing documentation into AI coding assistants.
Key Features:
- 🕷️ Recursive link exploration with depth control
- 🎯 Flexible scope control (same-domain, include/exclude patterns)
- 📝 AI-optimized Markdown output (full.md for LLM context)
- 🔄 Differential crawling for efficient updates
- ⚡ Fast processing with Playwright + Bun
See the link-crawler README for installation and setup instructions.
# Basic crawl example
bun run link-crawler/src/crawl.ts https://nextjs.org/docs -d 2Choose your path based on your role:
| I want to... | Read this |
|---|---|
| Use as a pi skill | SKILL.md |
| Use as a CLI tool | link-crawler/README.md |
| See all CLI options | CLI Specification |
| Develop/contribute | Development Guide |
| Understand architecture | Design Document |
| Maintain the project | Maintenance Guide |
Contributions are welcome! Please feel free to submit a Pull Request.
For bug reports and feature requests, please check our Issues.
MIT
技術ドキュメントサイトをクロールし、AIコンテキスト用のMarkdownとして保存する pi スキル
link-crawler は、指定されたWebページを起点として、リンクを再帰的に辿りながら情報を収集し、AIコーディングアシスタントへのインポートに最適な構造化Markdown形式で保存します。
主要機能:
- 🕷️ 指定URLからのリンク探索（深さ制限付き）
- 🎯 柔軟なスコープ制御（同一ドメイン、include/exclude パターン）
- 📝 AI最適化Markdown出力（LLMコンテキスト用のfull.md）
- 🔄 差分クロールによる効率的な更新
- ⚡ Playwright + Bunによる高速処理
インストールとセットアップについては link-crawler README を参照してください。
# 基本的なクロール例
bun run link-crawler/src/crawl.ts https://nextjs.org/docs -d 2あなたの目的に応じてお選びください:
| こんな場合は | このドキュメントを読む |
|---|---|
| piスキルとして使いたい | SKILL.md |
| CLIツールとして使いたい | link-crawler/README.md |
| 全オプションを知りたい | CLI仕様書 |
| 開発・貢献したい | 開発ガイド |
| アーキテクチャを理解したい | 設計書 |
| プロジェクトを運用したい | メンテナンスガイド |
プルリクエストを歓迎します！お気軽にご提案ください。
バグ報告や機能リクエストは Issues をご確認ください。
MIT