CSV タグ

最近ちょっとした作業の中でシェルスクリプトを触る機会が増え、「固定長ファイルをCSVに変換する」といったややマニアックな文字列操作時もすることがありました。

システム間のデータ連携として、他システムが出力した CSV ファイルを Go で読み込んでリレーショナルデータベースにファイルのデータを保存する、という処理がありました。CSV の値をデコードしたあとに共通的な処理を差し込みたいユースケースで Decorator パターンを使って実装をしました。

Go 1.19 のencoding/csv のアップデート内容について紹介します。Go 1.19 Release Notesに1行だけ追加されています。

PySparkで予定しておりましたが、PySpark関連として、Glueを題材にさせていただきます。Glueといっても大きく下記の３種類、処理系をいれると4種類に分かれると思っていますが、それぞれ全く別のプロダクトという理解をしています。

Go1.17連載の2つ目です。encoding/csvのマイナーチェンジ（APIが1個だけ追加した）という小ネタです。

CSVデータをAWKで処理する例を紹介します。