はじめに
自宅に余っているPCパーツを活用してHermesAgentを立ち上げていきます
その記録メモです
今回はCrawl4AIをインストールする編です
今回できること
・Crawl4AIをインストールすることでスクレイビング可能となるのでサイトデータ収集が容易になります
・mcpとしてCrawl4aiが動作します
流れ
仮想環境上でCrawl4AIを動作させ、HermesAgentとはmcpで連携します
・仮想環境の設定
・Crawl4aiをインストール
・Dockerの設定
・Crawl4aiの動作テスト
参考にしたサイトはこちら
【Vol.2】API代0円！openclaw / hermes に Web 検索機能を後付けする（SearXNG + Crawl4AI で完全無料）｜zephel01
📝 本記事は Vol.1 セットアップ編 の続編です。前回の記事では hermes / openclaw のインストールと初期セットアップまでを扱いました。今回はそこに Web 検索機能を後付けする 手順を解説します。 前回の記事を読んでい…
note.com
仮想環境設定/Crawl4AIインストール
・仮想環境を動作させるフォルダを作成します
・そこに仮想環境を作成します
・仮想環境を有効化させます
・仮想環境上でmcp、Crawl4AI、playwrightをインストールします
# ~/hermes-agent で作業
cd ~/hermes-agent
# .venv を作る
uv venv
# 仮想環境を有効化
source .venv/bin/activate
# MCP 関連パッケージを入れる
uv pip install mcp
uv pip install crawl4ai
# Playwright のブラウザを取得（Crawl4AI 公式の推奨セットアップ）
crawl4ai-setup・uv上にインストールされたかは「uv pip list」で確認可能です
Docker設定
・Dockerを起動したときにmcpとして認識できるようにConfing.ymlに設定します
追加部分は以下です
そしてDockerを再起動します
# Crawl4AI を叩く MCP サーバー
crawl4ai:
command: /home/user/.local/bin/uvx
args:
# PyPI 上のパッケージ "mcp-crawl4ai" から
- "--from"
- "mcp-crawl4ai"
# "crawl4ai-mcp" コマンドを実行する
- "crawl4ai-mcp"
・再起動するとHermesAgentのchat画面のmcpにCrawl4AIが追加されているのを確認できます
Crawl4AI動作確認
・Crawl4AIの動作確認はスクリプト経由での確認となります
・動作させるスクリプトは以下です（ファイル名：test_crawl.py）
・これを実行させて動作確認します
「py test_crawl.py」
import asyncio
from crawl4ai import AsyncWebCrawler
async def main():
async with AsyncWebCrawler(verbose=True) as crawler:
result = await crawler.arun(url="https://example.com")
# 取得結果の確認
if result.success:
print("\n✅ Crawl4AI は正常に動作しています！")
print(f"ステータスコード: {result.status_code}")
print(f"マークダウン文字数: {len(result.markdown)}")
# 最初の一部を表示
print(f"内容サンプル:\n{result.markdown[:100]}")
else:
print("\n❌ クロールに失敗しました。")
print(f"エラー内容: {result.error_message}")
if __name__ == "__main__":
asyncio.run(main())・スクリプトを実行する際は仮想環境を有効化しておいた方がよいです
source .vnev/bin/activate
python3 test_crawl.py
・HermesAgentで「Crawl4AIを使って調べて」で動作するのですが、したり/しなかったりで不思議です。。。
まとめ
・動作させるスイッチがイマイチ判らないCrawl4AIです
・次はGoogleカレンダーと連携させます
コメント