初めに

お久しぶりです。在原です。

近年のコンテンツの最適化に圧縮技術は必須となっています。弊鯖においてもDBのダンプファイルなどを圧縮技術（.gzip）を用いて圧縮しております。

古くから広く用いられているgzipやxzの他にも近年はzstdやbrotli等といった新進気鋭の圧縮技術が生まれているいます。その中で、各アルゴリズムの圧縮、展開特性のベンチマークを行い圧縮技術の利用方法におけるベストプラクティスを見つけていくことを目的に本記事をまとめていきます。

同じような利用方法を模索している方々の参考になれば幸いです。

圧縮アルゴリズム

ベンチマークで用いた圧縮アルゴリズムの一覧。アルゴリズムにおける技術概要に関しては各自調べてください。

各ソフトウェアのdefault、High、Lowの圧縮比率で分析を行っていきます。

また、どの方式においてもシングルスレッドで計測を行っております

下の表は今回の計測で用いる圧縮オプションです。

今回のベンチマークに用いたスクリプトでは引数に-L,-Hを指定すると下記の表にあるオプションを付けて実行します。

なお、作成したスクリプトに関してgithb上に公開しています

https://github.com/ariwara-narihira/compression-benchmark-scr/tree/main

比較対象

本ベンチマークで用いるデータの紹介をします。

単独のmp3ファイル

• バンブータイガー/宮舞モカ

• 320kbps
• 6.97 MB (7,315,132 B)

単独のwavファイル

• 掌面説／yowanecity Feat.初音ミク

• 1411kbps
• 25.3 MB (26,530,160 B)

UTAU音源ライブラリー

• 路音ラウ（仮）の音源データ
• files : 188
• 250 MB (262,381,367 B)
• voices : 1442

データベースのダンプファイル

• makibisskey.workのバックアップデータ
• sql形式
• 24.8 GB (26,720,771,624 B)

計測環境

• Operating System: Ubuntu 24.04.2 LTS
• Kernel: Linux 6.8.0-53-generic
• Architecture: x86-64
• Hardware Vendor: QEMU
• CPU(s): 2
• Model name: QEMU Virtual CPU version 2.5+

上記の環境で検証を行いました。環境によってはタイムなどに差が出ると思うので参考程度に見てください。

ベンチマーク結果

単独のmp3ファイル

default

High (-H)

Low (-L)

グラフ

mp3の圧縮に関する特性と分析

上記の画像の通り、各圧縮技術において圧縮率の差がほぼ出ない結果となりました。

そもそもmp3自体が不可逆圧縮のファイルのため、単体での圧縮が難しい。ただその中でもblotliの圧縮が非常に高く出た。それ以外は誤差みたいなもん。

単独のwavファイル

default

High

Low

グラフ

wavの圧縮に関する特性と分析

こちらも、mp3と同じく、どのアルゴリズムにおいてもほぼ結果は変わらない。

サイズが小さいファイルはzstdではなく、gzipなどを用いたほうが効率的な場合があることがわかりました。

UTAU音源のライブラリー

default

High

Low

グラフ

utauボイスバンクの圧縮に関する特性と分析

ボイスバンクのベンチマークテストを行った結果、UTAU のボイスバンクに関しては7zやXZが最も高い圧縮率を実現できることが明らかになりました。しかし、展開速度に関しては、これらの方式はいずれもzstdと比較して25倍以上の時間を要することもわかりました。

ユーザー体験の観点では、利用可能になるまでの準備時間というものが非常に重要です。そのため、圧縮率と展開速度のバランスを考慮すると、zstdの最高設定で圧縮する方式が最も実用的であると判断できます。

DBのダンプファイル

default

High

Low

グラフ

ダンプファイルの圧縮に関する特性と分析

DB のダンプファイルを対象に圧縮アルゴリズムのベンチマークを行ったところ、いくつか興味深い傾向が見えてきました。

まずひとつ目に「DBのダンプファイルにおける圧縮率のグラフ」と「DBのダンプファイルにおける圧縮比率のグラフ」から、どの圧縮アルゴリズムも半分以下のサイズに圧縮できているという点が挙げられます。

次に、brotliは圧縮率こそXZに肉薄するものの、圧縮時間はXZの約3倍と掛かる特徴があります。一方で、展開速度はXZの約3分の1と非常に高速で、展開処理を重視した設計になっていることが分かります。

また、brotli・zstd・lz4 といった近年のアルゴリズムは、展開時間の高速化を強く意識して設計されている点も特徴的です。一般的に、圧縮技術はコンテンツの圧縮よりも展開のほうが利用される機会が多いため、クライアント側での展開速度を優先して最適化していると考えられます。特に brotli と zstd はWebコンテンツ圧縮でも広く利用されており、その設計思想がよく表れています。

zip・bzip2・gzipといった古い圧縮方式は、defaultと最高圧縮で圧縮比率にほとんど差がありません。そのため、これらのアルゴリズムでは高圧縮設定にしてもメリットが小さく、標準圧縮が最も効率的な選択になります。

さらに今回の比較では、zstdが最も圧縮レベルによる圧縮率の変化が大きいという結果も得られました。低圧縮ではgzipに近い圧縮率ですが、高圧縮ではXZに迫るレベルまで向上し、圧縮レベル調整による伸びしろが最も大きいアルゴリズムであることが分かります。

また、展開速度に注目するとzstdはどのアルゴリズムと比較しても頭ひとつ抜けて高速であることが分かります。 適度な圧縮率を維持しながら、展開が速いアルゴリズムは他にありません。 圧縮率・圧縮速度・展開速度のバランスを両立している点は、zstdの大きな強みだと言えます。

より高い圧縮率を求める場合はXZを選ぶのが定石ですが、7zの最高圧縮設定を用いると、zstdを上回る、 XZと同等の圧縮率を実現しつつ、圧縮・展開の両方でより高速に処理できる場合があります。7zがここまで強力に圧縮できる点は意外でした。

まとめ

• 展開速度、圧縮速度のバランスが一番いいのがzstd
• 圧縮時間や展開時間を無視し、より強力な圧縮を狙うなら7zがベスト
• とにかく不可逆圧縮された単体バイナリをより圧縮したい場合はbrotli。ただし、自分で圧縮、展開の環境を用意しないと駄目。

zstdが一番バランスの取れた結果になるんだろうと予想は付いていたのですが、7zも結構ありだな～となったのは意外でした。

弊環境では、肥大化するDBのバックアップデータをクラウドへアップロードする際、ISPの上り帯域制限やネットワーク負荷がボトルネックとなるため、条件に適した圧縮技術を選定する重要性が高まっています。 今回の実験により、今後さらに増大していくデータベースをより効率的に圧縮するための有用な知見を得ることができました。 これらの結果を踏まえ、今後のサーバー運用に積極的に活かしていきたいと考えています。

また、今後はマルチスレッドで処理が出来る圧縮アルゴリズムにおいて、どの方式がベストプラクティスとなるのか等といった調査も行っていきたいと思います。

一言

圧縮という身近に使われる技術の中に、それぞれの特徴があり、それらが顕著に出てくるという点が結構面白かった。特にベンチマークを取ることにより、各技術の特性をよく知ることができたので良かった。

ただし、ブログに書き起こしている際に飽きが来てしまい、まとめるのが苦痛になってしまった。

自分の飽き性には呆れてしまう。悪い点。

ってかT-potの解析記事はどうしたん？

おすすめの曲