MySQL バッチ挿入とユニークインデックスの問題に対する解決策

MySQL バッチ挿入の問題

プロジェクトを開発しているときに、古いシステムの基本データを事前にインポートする必要があったため、インポート中にバッチインポート操作を実行しました。ただし、MySQL で許容される SQL ステートメントのサイズが制限されているため、一度に 500 しかバッチ処理できないにもかかわらず、挿入できません。このとき、コードは次のエラーを報告します。

ネストされた例外は、com.mysql.jdbc.PacketTooBigException: クエリのパケットが大きすぎます (5677854 > 1048576)。
サーバー上で「max_allowed_packet」変数を設定することにより、この値を変更できます。

エラーレポートによると、SQL ステートメントデータパケットが大きすぎることがすぐにわかります。この問題を解決するには、MySQL サーバーパラメータ max_allowed_packet を設定できます。

解決

1. [mysqld] の下に max_allowed_packet パラメータを追加し、できるだけ大きく設定します。

#my.cnf ファイルを探す#my.cnf はどこにあるか
#vim マイ.cnf
----------------------------
[mysqld]
最大接続数 = 3000
最大許容パケット=1024M

#保存してmysqlサービスを再起動して有効にします#service mysqld restart

2. max_allowed_packetを一時的に設定し、ステートメントで設定します。

myslq>グローバルmax_allowed_packetを1024*1024*1024に設定します

このように再起動すると、max_allowed_packetは無効になります

デフォルトでは、MySQL パラメータ max_allowed_packet の値は 1M です。

MySQLインデックスは大文字と小文字を区別しません

MySQL データベースでインデックスを作成する場合、デフォルトでは大文字と小文字は区別されません。たとえば、次のステートメント:

テーブル `location` を作成します (
 `id` int(11) NOT NULL AUTO_INCREMENT,
 `rc` varchar(2) デフォルト NULL コメント 'R/C',
 `location_code` varchar(4) デフォルト NULL コメント '場所コード',
 `location_name` varchar(30) DEFAULT NULL COMMENT '場所名',
 `zip_code` varchar(6) デフォルト NULL コメント '郵便番号',
 `address` varchar(50) デフォルト NULL コメント 'アドレス',
 `link_man` varchar(15) DEFAULT NULL COMMENT '連絡先',
 `link_phone` varchar(30) DEFAULT NULL COMMENT '連絡先電話番号',
 `fax` varchar(30) デフォルト NULL コメント 'Fax',
 `can_accept_car_time` varchar(40) DEFAULT NULL COMMENT '利用可能な車のピックアップ時間',
 `type` varchar(1) デフォルト NULL コメント 'カテゴリ',
 `maintenance_type` varchar(1) DEFAULT NULL COMMENT 'メンテナンスタイプ',
 `brand` varchar(4) デフォルト NULL コメント 'ブランド',
 `reservation` varchar(40) デフォルト NULL コメント 'Reservation',
 `enable` int(1) デフォルト '1',
 `msg_code` varchar(64) NOT NULL COMMENT 'メッセージコード',
 `receive_on` タイムスタンプ NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '受信日',
 `create_on` タイムスタンプ NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '作成日',
 `modified_on` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '変更日',
 主キー (`id`)、
 ユニークキー `unique_msg_code` (`msg_code`) BTREE 使用、
 ユニークキー `unique_location_code` (`location_code`) BTREE の使用
) ENGINE=InnoDB AUTO_INCREMENT=16325 DEFAULT CHARSET=utf8 COMMENT='アドレステーブル';

しかし、アドレスコード H12C と h12C をそれぞれ挿入すると、エラーが報告され、例外がスローされました: キー 'normal_localtion_code' のエントリ 'H12C' が重複しています。これは大文字と小文字が区別されないことを意味するため、この問題を解決する必要があります。

回避策

1. インデックスで大文字と小文字が区別されるように、フィールドをバイナリに設定します。

テーブル `location` を作成します (
 `id` int(11) NOT NULL AUTO_INCREMENT,
 `rc` char(2) デフォルト NULL コメント 'R/C',
 `location_code` varchar(4) 文字セット utf8 照合 utf8_bin デフォルト NULL コメント '場所コード',
 `location_name` varchar(26) DEFAULT NULL COMMENT '場所名',
 `zip_code` varchar(6) デフォルト NULL コメント '郵便番号',
 `address` varchar(50) デフォルト NULL コメント 'アドレス',
 `link_man` varchar(16) DEFAULT NULL COMMENT '連絡先',
 `link_phone` varchar(30) DEFAULT NULL COMMENT '連絡先電話番号',
 `fax` varchar(30) デフォルト NULL コメント 'Fax',
 `can_accept_car_time` varchar(40) DEFAULT NULL COMMENT '利用可能な車のピックアップ時間',
 `type` varchar(1) デフォルト NULL コメント 'カテゴリ',
 `maintenance_type` varchar(1) DEFAULT NULL COMMENT 'メンテナンスタイプ',
 `brand` varchar(4) デフォルト NULL コメント 'ブランド',
 `reservation` varchar(40) デフォルト NULL コメント 'Reservation',
 `enable` int(1) デフォルト '1',
 `msg_code` varchar(64) NOT NULL COMMENT 'メッセージコード',
 `receive_on` タイムスタンプ NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '受信日',
 `create_on` タイムスタンプ NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '作成日',
 `modified_on` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '変更日',
 主キー (`id`)、
 ユニークキー `unique_msg_code` (`msg_code`) BTREE 使用、
 ユニークキー `unique_location_code` (`location_code`) BTREE の使用
) ENGINE=InnoDB AUTO_INCREMENT=4092 DEFAULT CHARSET=utf8 COMMENT='ロケーションテーブル';

// 元のテーブル辞書の属性を変更します:

ALTER TABLE `location`
変更列 `location_code` `location_code` VARCHAR(4) 文字セット 'utf8' BINARY NOT NULL DEFAULT '';

上記の方法で問題は解決します。

クエリでは大文字と小文字は区別されません