C 言語のソースの文字列を inline メソッドに渡すとコンパイルされ、Ruby のメソッドとして呼び出せるという便利な gem です。
以下に引用する 公式のサンプルコード を見れば雰囲気がわかるかと思います:
require"inline"classMyTest
inline do |builder|
builder.c " long factorial(int max) { int i=max, result=1; while (i >= 2) { result *= i--; } return result; }"endend
factorial_5 = MyTest.new.factorial 5
C 拡張をしたいがために自前の gem を作ったりする必要もなく、手軽に C のコードを Ruby から呼び出すことが可能な点が大変魅力的です。性能のためだけでなく、Ruby から呼び出せないライブラリ等を使う上でも有用な選択肢であると思います。
また、Ruby アプリケーションの起動時に C のコードをコンパイルすると突飛に聞こえるかもしれませんが、Ruby 2.6 から入った JITもまさにそのような仕組みであり、MRI/CRuby においてはそのようなアプローチは自然なものなのではないかと思います。