Shorts: September 2026
9 Shorts posted in September 2026, each with a short summary. The same summaries in Japanese follow below.
-
How Word Embeddings Work
Embeddings turn words into lists of numbers so that AI, which only computes, can handle them, placing similar meanings close together: king minus man plus woman lands on queen. A small neural network slides a window over text and predicts the next word; its trained weights become the embeddings, as in Word2Vec's CBOW and skip-gram. Real embeddings have hundreds of dimensions; 3 million words need 600 million weights. Word2Vec gives each word one vector, while Transformers rebuild them per sentence.
Watch on YouTube -
How ChatGPT Works: The Transformer Behind GPT
The T in GPT stands for Transformer, which Google created in 2017 for translation. Earlier RNNs read words one at a time, forgot the start of long sentences and could not be sped up with more GPUs. Its three key ideas are positional encoding, which lets all words be computed at once, attention and self-attention. GPT-3 learned from 45 TB of text. GPT stacks only decoders and predicts the next word one at a time, after pre-training and fine-tuning.
Watch on YouTube -
Data Structures and Where They Are Used
This Short matches common data structures to everyday uses: lists for to-do apps and timelines, arrays for images, stacks for undo and the call stack, queues for chat messages and print jobs, heaps for priority queues, B+ trees for database indexes, hash tables for dictionaries and caches, tries for autocomplete, graphs for friend suggestions and shortest routes, and R-trees for finding nearby places. It also shows how memory layout can make arrays tens of times faster than linked lists.
Watch on YouTube -
How Forward and Reverse Proxies Work
A proxy is a server that communicates on someone else's behalf. A forward proxy sits at the exit of a company or school network, hides client IPs, and can restrict sites, log access and cache pages. A reverse proxy sits between the internet and a group of servers, hiding their IPs, balancing load, blocking DDoS traffic and handling SSL decryption. This Short notes that API gateways are a kind of reverse proxy and that Cloudflare runs reverse proxies worldwide.
Watch on YouTube -
How HTTP Evolved: From HTTP/1.0 to HTTP/3
HTTP is the set of rules for how a browser asks a server for data. HTTP/1.0 opened a new connection, with TCP and TLS handshakes, for every request. HTTP/1.1 kept connections open, but responses still had to return in order, causing head-of-line blocking. HTTP/2 mixed binary frames from many streams on one connection and compressed headers with HPACK, yet a lost TCP packet still stalled every stream. HTTP/3 switched to QUIC over UDP, with independent streams and faster setup.
Watch on YouTube -
How Virtualization Works
Servers used to run one app each, leaving most of their capacity idle. Virtualization imitates hardware in software, so one physical server can host several virtual machines, each with its own OS and no interference between them. This Short explains how a hypervisor divides CPU, memory and disk among VMs and shares CPU time in small slices, the difference between type 1 and type 2 hypervisors, and why VMs, being just files, are easy to move and restart elsewhere.
Watch on YouTube -
SQL vs. NoSQL: Key Differences
SQL and NoSQL databases both store data but have different strengths. This Short compares them on five points: structure (related tables versus self-contained documents), scaling (a stronger single machine versus adding nodes, with partitioning and failover built in), query languages, transactions, and flexible schemas. NoSQL is not always the answer, since SQL is cheaper and simpler at small scale. In practice the two can also be combined, for example keeping shopping carts in NoSQL and confirmed orders in SQL.
Watch on YouTube -
How REST APIs Work
REST, short for Representational State Transfer, is a set of rules rather than a specification, and the most widespread style for APIs. This Short covers resources as noun-based URIs, the HTTP methods behind CRUD, the request line, headers and JSON body, status code ranges, idempotency and why retrying a POST is risky, statelessness, limit and offset pagination, and versioning in the URI. A donut shop's product list serves as a worked example.
Watch on YouTube -
OLTP vs. OLAP: Row and Column Storage
OLTP databases such as MySQL, PostgreSQL and MongoDB run applications, handling huge numbers of small operations like logins and purchases. OLAP databases such as ClickHouse, BigQuery and Redshift power analysis like Spotify's yearly recap. This Short shows how the difference appears in disk layout: OLTP stores whole rows together, while OLAP stores each column together, so aggregates read only what they need and repeated values compress well. It also touches on OLAP cubes, HTAP and moving OLTP data into OLAP.
Watch on YouTube
2026年9月のショート動画
2026年9月に投稿したショート動画 9 本の要約です。
-
埋め込みベクトルの仕組み
埋め込みは、計算しかできないAIが扱えるように単語を数値の並びに直し、意味の近い単語ほど近くに置きます。「王」から「男」を引いて「女」を足すと「女王」に行き着きます。小さなニューラルネットがウィンドウをずらしながら次の単語を当て、学習後の重みがそのまま埋め込みになります。Word2VecのCBOWとスキップグラムがこの作り方です。実物は数百次元あり、300万語分で重みは6億個になります。Word2Vecでは1単語にベクトル1本ですが、トランスフォーマーは文ごとに作り直します。
-
Chat GPTの仕組み
GPTのTはトランスフォーマーのことで、2017年にGoogleが翻訳のために作った仕組みです。それまでのRNNは単語を1つずつ順に読むため、長い文では先頭の方を忘れ、GPUを増やしても速くなりませんでした。工夫は、全単語を同時に計算できるようにする位置エンコーディング、アテンション、セルフアテンションの3つです。GPT-3は45TBのテキストで学習しました。GPTはデコーダーだけを積み上げた形で、事前学習と微調整を経て、次の単語を1つずつ当てていきます。
-
データ構造の活用例
身近なデータ構造とその使いどころを紹介します。ToDoアプリやタイムラインのリスト、画像の配列、元に戻す操作やコールスタックのスタック、チャットの受信や印刷ジョブのキュー、優先度付きキューのヒープ、データベースのインデックスのB+木、辞書型やキャッシュのハッシュ表、入力補完のトライ木、友達候補や最短経路のグラフ、近くの店を探すR木です。メモリの並び方によって、配列と連結リストでは同じ処理の速さが何十倍も変わることも解説します。
-
プロキシの仕組み
プロキシは通信を代わりに行うサーバーです。フォワードプロキシは会社や学校のネットワークの出口に立ち、クライアントのIPを隠し、特定のサイトの制限やアクセスのログ記録、ページのキャッシュを行います。リバースプロキシはインターネットとサーバー群の間に立ち、背後のサーバーのIPを隠して負荷を分散し、DDoS攻撃のような通信を止め、SSLの復号も引き受けます。APIゲートウェイもリバースプロキシの一種であることや、Cloudflareが世界中にリバースプロキシを置いていることも紹介します。
-
HTTPの仕組み
HTTPはブラウザーがサーバーに頼むときの決まりです。HTTP/1.0はリクエストのたびにTCPとTLSのハンドシェイクを行い、新しいコネクションを作っていました。HTTP/1.1はコネクションを開いたままにしましたが、返す順番が送った順に固定されるため、ヘッドオブラインブロッキングが起きます。HTTP/2は複数のストリームのバイナリフレームを1本のコネクションに混ぜて流し、HPACKでヘッダーを圧縮しましたが、TCPのパケットが1つ落ちると全ストリームが待たされます。HTTP/3はUDPの上で動くQUICに切り替え、互いに独立したストリームと速い接続開始を実現しました。
-
仮想化の仕組み
以前はサーバー1台にアプリを1つだけ載せていたため、性能のほとんどが余っていました。仮想化はハードウェアをソフトウェアで真似る技術で、1台の物理サーバーの中に、それぞれ別のOSを載せて互いに干渉しない仮想マシンを何台も作れます。ハイパーバイザーがCPUやメモリ、ディスクをVMに切り分け、CPUを時間で細かく分けて動かす仕組み、タイプ1とタイプ2のハイパーバイザーの違い、そしてVMがただのファイルなので丸ごと持ち運んで別のマシンで動かし直せる理由を解説します。
-
SQL、NoSQLの違い
SQLとNoSQLはどちらもデータを保存する道具ですが、得意なことが違います。構造（関係でつなぐ表か、まとまったドキュメントか）、規模の増やし方（1台を強くするか、ノードを横に足すか。NoSQLは分割や障害時の仕組みが最初から入っています）、問い合わせの言語、トランザクション、決まった形を持たない柔軟さという5つの点で比べます。小規模ならSQLの方が安く簡単なので、NoSQLが常に正解とは限りません。実務では買い物かごはNoSQL、確定した注文はSQLのように、両方を組み合わせることもあります。
-
REST APIの仕組み
REST（Representational State Transfer）は仕様書ではなくルールの集まりで、APIの作法として最も広く使われています。リソースを名詞のURIに割り当てること、CRUDに対応するHTTPメソッド、リクエスト行・ヘッダー・JSONのボディという構成、ステータスコードの分類、べき等性とPOSTを再送する危険、ステートレスであること、limitとoffsetによる切り出し、URIでのバージョン管理を解説します。ドーナツ屋の商品一覧を具体例として使います。
-
OLAP、OLTPの仕組み
OLTPはログインや購入のような小さな処理を大量にさばく、アプリを動かすためのデータベースで、MySQLやPostgreSQL、MongoDBが代表例です。OLAPはSpotifyの年間まとめのような分析を担うデータベースで、ClickHouse、BigQuery、Redshiftがあります。この違いはディスクへの並べ方に表れます。OLTPは1行分をまとめて置く行指向、OLAPは列ごとにまとめる列指向で、集計に必要な列だけを読めて、同じ値が続くのでよく圧縮できます。OLAPキューブやHTAP、OLTPのデータをOLAPへ流す流れにも触れます。