AWS SageMakerとS3を連携した機械学習データ管理の完全ガイド

2025年5月18日 2025年5月18日

AWS SageMakerを使って機械学習を行う際、データの保存や管理にAmazon S3（Simple Storage Service）を活用することは非常に重要です。このレポートでは、初心者の方でも理解できるよう、S3にデータを保存し、SageMakerとやり取りする方法について詳細に解説します。

※本ページは、AIの活用や研究に関連する原理・機器・デバイスについて学ぶために、個人的に整理・記述しているものです。内容には誤りや見落としが含まれている可能性もありますので、もしお気づきの点やご助言等ございましたら、ご連絡いただけますと幸いです。

※本ページの内容は、個人的な学習および情報整理を目的として提供しているものであり、その正確性、完全性、有用性等についていかなる保証も行いません。本ページの情報を利用したこと、または利用できなかったことによって発生した損害（直接的・間接的・特別・偶発的・結果的損害を含みますが、これらに限りません）について、当方は一切責任を負いません。ご利用は利用者ご自身の責任でお願いいたします。

S3の基本的な理解とSageMakerとの連携意義

Amazon S3は、AWS上のオブジェクトストレージサービスで、あらゆる種類のデータファイルを保存できます。機械学習においては、大量のデータセット、モデルファイル、学習結果などを安全かつ効率的に管理する必要があり、S3はその役割を担います。SageMakerは機械学習モデルの構築・トレーニング・デプロイを行うマネージドサービスですが、データをS3に保存することでデータパイプラインの効率化が図れます1。

1. S3バケットの作成方法

まずは、データを保存するためのS3バケットを作成します。

1.1 AWSマネジメントコンソールからバケットを作成する手順

AWSマネジメントコンソールにログインします
「全てのサービス」からS3を選択します
「バケットを作成する」をクリックします
バケット名を入力します（世界で一意である必要があります）
リージョンは通常「アジアパシフィック（東京）」を選択します
オプション設定はデフォルトのままでも構いません
アクセス権限設定では「パブリックアクセスを全てブロック」を確認します
「バケットを作成」をクリックして完了です8

重要なのはバケット名で、SageMakerと連携する場合は名前に「sagemaker」を含めると、特別なアクセス許可設定を行わなくても済む場合があります17。

2. S3へのデータアップロード方法

S3にデータをアップロードするには複数の方法があります。

2.1. マネジメントコンソールから直接アップロード

S3のバケット一覧から作成したバケットを選択します
「アップロード」ボタンをクリックします
ファイルを選択してアップロードします

2.2. boto3ライブラリを使用したPythonからのアップロード

boto3は、PythonからAWSサービスを操作するためのライブラリです。以下はboto3を使ってS3にファイルをアップロードする例です：

pythonimport boto3
from botocore.exceptions import ClientError

# プロファイル名（AWSの認証情報を指定する場合）
profile = "default"
# アップロードするファイル
upload_file = "C:/Users/username/Desktop/data.csv"
# バケット名
bucket = "my-sagemaker-bucket"
# キー名（S3上のファイルパス）
key = "training/data/data.csv"

try:
    # プロファイルを指定してセッションを作成
    session = boto3.Session(profile_name=profile)
    s3_client = session.client(service_name="s3")
    
    # S3にファイルをアップロード
    s3_client.upload_file(upload_file, bucket, key)
    print("S3上にファイルをアップロードしました。")
except ClientError as e:
    print("エラーが発生しました。")
    print("エラーコード：" + e.response["Error"]["Code"])
    print("エラーメッセージ：" + e.response["Error"]["Message"])
except Exception as e:
    print("エラーが発生しました。")
    print(e)

このコードは指定したローカルファイルをS3バケットの指定したパスにアップロードします9。

2.3. SageMaker SDKを使用したアップロード

SageMaker SDKには、S3とのやり取りを簡単にするためのユーティリティ関数が用意されています：

pythonimport sagemaker

# SageMakerセッションを作成
sagemaker_session = sagemaker.Session()

# データをS3にアップロード
# path：ローカルのデータのパス
# key_prefix：S3上のフォルダパス
inputs = sagemaker_session.upload_data(
    path='data',
    bucket=sagemaker_session.default_bucket(),
    key_prefix='data/training'
)

# アップロード先のS3パスが返される
print('input spec (in this case, just an S3 path): {}'.format(inputs))

この方法では、upload_dataメソッドを使用して、ローカルのファイルやディレクトリを簡単にS3にアップロードできます10 4。

3. SageMakerからS3のデータを読み込む方法

3.1. SageMaker学習ジョブでS3データを使用する

SageMakerでトレーニングジョブを実行する際、S3上のデータを学習データとして指定できます：

pythonfrom sagemaker.tensorflow import TensorFlow

# Estimatorを作成
estimator = TensorFlow(
    entry_point='train.py',  # トレーニングスクリプト
    py_version='py38',
    framework_version='2.7.1',
    instance_count=1,
    instance_type='ml.m5.xlarge',
    role=sagemaker.get_execution_role()  # IAMロール
)

# S3上のデータを指定して学習を開始
estimator.fit({
    'training': 's3://my-sagemaker-bucket/data/training',
    'validation': 's3://my-sagemaker-bucket/data/validation'
})

この例では、S3上のtrainingとvalidationというキー名で別々のデータセットを指定しています12 6。

3.2. 入力モードの設定

SageMakerには、S3からデータを読み込む際のモードが複数あります：

pythonfrom sagemaker.inputs import TrainingInput

# Estimatorを作成（上記と同様）

# 入力モードを指定してトレーニングを実行
estimator.fit(
    inputs=TrainingInput(
        s3_data="s3://my-sagemaker-bucket/data/training",
        input_mode='File'  # File, Pipe, FastFileから選択可能
    )
)

入力モードには以下の3つがあります：

File：S3のデータをトレーニングインスタンスにダウンロードしてから学習を開始
Pipe：S3からデータをストリーミングして学習（ダウンロード待ちなし）
FastFile：ファイルシステムとしてデータにアクセス（大規模データセット向け）6 2

3.3. トレーニングスクリプト内でS3データにアクセスする

SageMakerのトレーニングジョブでは、環境変数を通じてS3からダウンロードされたデータのパスにアクセスできます：

python# train.py（トレーニングスクリプト）の例
import os
import json

# 利用可能なすべてのデータチャネルを取得
channels = json.loads(os.environ.get('SM_CHANNELS'))

# 各チャネルのデータディレクトリにアクセス
for channel in channels:
    input_dir = os.environ.get('SM_CHANNEL_' + channel.upper())
    print(f"Channel {channel} is located at: {input_dir}")
    
    # そのディレクトリ内のファイルを処理
    for file_name in os.listdir(input_dir):
        file_path = os.path.join(input_dir, file_name)
        # ここでファイルを読み込み処理

このスクリプトは、SageMakerが環境変数に設定するデータのパス情報を使用してファイルにアクセスしています12 5。

3.4. ノートブックインスタンス内で直接S3データを読み込む

SageMakerのノートブックインスタンスから直接S3のデータを読み込むこともできます：

python# CSVファイルの場合
import pandas as pd
import boto3

# 方法1：boto3を使用する場合
s3 = boto3.client('s3')
obj = s3.get_object(Bucket='my-sagemaker-bucket', Key='data/training/data.csv')
df = pd.read_csv(obj['Body'])

# 方法2：pandas から直接S3パスを指定する場合
df = pd.read_csv('s3://my-sagemaker-bucket/data/training/data.csv')

# バイナリデータ（pickleなど）の場合
import pickle
s3 = boto3.resource('s3')
bucket = s3.Bucket('my-sagemaker-bucket')
data = pickle.loads(bucket.Object("model/model.pickle").get()['Body'].read())

ただし、pandas から直接S3パスを読み込む方法は、環境によっては動作しない場合があるので注意が必要です7 20 13。

4. SageMakerでの学習結果をS3に保存する方法

SageMakerのトレーニングジョブでは、モデルや出力データをS3に自動的に保存することができます。

4.1. モデルの保存

トレーニングスクリプト内で、モデルを特定のディレクトリに保存すると、SageMakerが自動でそれをS3にアップロードします：

python# train.py内でのモデル保存例
import os

# 環境変数からモデル保存先ディレクトリを取得
model_dir = os.environ.get('SM_MODEL_DIR')

# モデルを保存（フレームワークによって異なる）
# TensorFlowの例

SM_MODEL_DIR環境変数で指定されるディレクトリにモデルを保存すると、ジョブ完了時に自動的にmodel.tar.gzとして圧縮されてS3にアップロードされます12。

4.2. その他の出力データの保存

モデル以外の出力データ（評価結果、ログなど）も保存できます：

python# 出力データの保存
output_dir = os.environ.get('SM_OUTPUT_DATA_DIR')

# 出力ファイルの保存
with open(os.path.join(output_dir, 'evaluation.json'), 'w') as f:
    json.dump({"accuracy": 0.95}, f)

SM_OUTPUT_DATA_DIRに保存されたファイルは、output.tar.gzとして圧縮されてS3にアップロードされます12。

5. SageMakerとS3の連携における実践的なポイント

5.1. デフォルトバケットの活用

SageMakerセッションにはデフォルトのS3バケットがあり、特に指定しなくても使用できます：

pythonimport sagemaker

# デフォルトバケットの取得
sess = sagemaker.Session()
default_bucket = sess.default_bucket()
print(f"デフォルトバケット: {default_bucket}")

# デフォルトバケットの使用
prefix = 'my-training-job'
inputs = sess.upload_data(path='data', bucket=default_bucket, key_prefix=prefix)

デフォルトバケット名は通常sagemaker-{リージョン}-{AWSアカウントID}の形式になります17 4。

5.2. データ入力モードの選択

データサイズや学習の特性に応じて、適切な入力モードを選択することが重要です：

小〜中規模のデータセット：Fileモード（最もシンプル）
ストリーミング処理に適したデータ：Pipeモード（ディスク容量を節約）
大規模データセット：FastFileモード（ファイルシステムとしてマウント）

5.3. S3ファイルシステムとしてマウント

特に大量のファイルを扱う場合、S3をファイルシステムとしてマウントする方法も便利です：

python# s3fsを使用したマウント例
!pip install s3fs
import s3fs
fs = s3fs.S3FileSystem(anon=False)

# S3バケット内のファイル一覧取得
files = fs.ls('my-sagemaker-bucket/data')
print(files)

# ファイルを直接開く
with fs.open('my-sagemaker-bucket/data/sample.csv', 'rb') as f:
    data = pd.read_csv(f)

この方法では、S3をローカルファイルシステムのように扱うことができます19。

6.よくあるエラーとトラブルシューティング

6.1. アクセス権限のエラー

SageMakerがS3バケットにアクセスできない場合、権限エラーが発生します。以下を確認しましょう：

SageMakerの実行ロールがS3バケットへのアクセス権限を持っているか
バケット名にsagemakerを含めるか、または明示的にアクセス権限を付与しているか

6.2. パスの問題

S3のパス指定に誤りがあると、ファイルが見つからないエラーが発生します：

S3 URIの形式が正しいか確認（s3://bucket-name/path/to/file）
キー（パス）に先頭または末尾の余分なスラッシュがないか確認

6.3. データ読み込みのエラー

pandas などでS3から直接データを読み込む際にエラーが発生する場合の対処法：

python# 直接読み込みではなく、いったんメモリにダウンロードしてから読み込む
import io
import boto3

s3 = boto3.resource('s3')
obj = s3.Object('my-sagemaker-bucket', 'data/sample.csv')
body = obj.get()['Body'].read().decode('utf-8')
buffer = io.StringIO(body)
df = pd.read_csv(buffer)

この方法では、一旦メモリ上にデータをダウンロードしてからpandasで読み込みます13 7。

7. まとめ

AWS SageMakerとS3を連携させることで、機械学習のデータ管理をクラウド上で効率的に行うことができます。このレポートで解説した主要なポイントは以下の通りです：

S3バケットの作成と基本的な操作方法
複数の方法によるS3へのデータアップロード
SageMakerからS3データを読み込む様々な方法
学習結果（モデルや評価結果）のS3への保存方法
効率的なデータ管理のための実践的なポイント

これらの知識を活用することで、クラウド上で効率的かつスケーラブルな機械学習ワークフローを構築できるようになります。AWS SageMakerとS3の連携は、大規模なデータセットを扱う機械学習プロジェクトにおいて特に重要な役割を果たします1 11 16。

初心者の方は、まずAWSマネジメントコンソールからS3バケットを作成し、SageMakerのデフォルトバケットとして活用することから始めるとよいでしょう。徐々にPythonコードでのS3操作に慣れていくことで、より高度なデータ管理が可能になります。