BigQuery 最新情報 : ORC インジェスト、データ型の更新、ML、クエリ スケジューリング

BigQuery 最新情報 : ORC インジェスト、データ型の更新、ML、クエリ スケジューリング:

※この投稿は米国時間 2018 年 10 月 13 日に Google Cloud blog に投稿されたものの抄訳です。



私たち Google は今月、クエリ スケジューリング、新しい BigQuery ML モデルと関数、地理空間データの型と関数といった BigQuery の新機能をベータ リリースしました。ORC データのインジェストも正式リリースとなっています。本稿では、こうした機能を紹介するとともに、これらがお客様にとってどのような意味を持つのかを見ていきます。

BigQuery GIS ベータにおける地理空間データ型とクエリ

地理空間データセットを扱うお客様にとって、BigQuery GIS のベータ リリースは朗報でしょう。今年 8 月に最初のバージョンが登場した BigQuery GIS は、地理空間データを新しいデータ型と関数で扱えるようにし、GIS データを “first class citizen” としてサポートする唯一のクラウド MPP データ ウェアハウスです。標準 SQL を使用すれば、ビッグデータ規模の GIS 分析を行うことができ、Earth Engine や Google マップ、Google Earth などを支えているのと同じ計算ライブラリから恩恵を受けられます。詳細はこちらのドキュメントか、Cloud OnAir ウェビナーをご覧ください。

Language: SQL

#standardSQL-- Finds Citi Bike stations with > 30 bikesSELECT  ST_GeogPoint(longitude, latitude)  AS WKT,  num_bikes_availableFROM  `bigquery-public-data.new_york.citibike_stations`WHERE num_bikes_available > 30

BigQuery ML ベータでの新しい多クラス ロジスティック回帰モデリング

BigQuery ML ベータ版では、多クラス ロジスティック回帰とクラス不均衡の自動対策をフルにサポートします。新しい多クラス ロジスティック回帰モデルを使用すると、入力値が「低」「中」「高」のどれかというような予測を最大 10 種類のクラスで行うことができます。また、このモデルは既存の 2 クラス モデルに影響を与えることなく、logistic_reg を使っています。2 クラス回帰と多クラス回帰の両方で各クラスに手動または自動で重みを与えることができ、あらゆるクラス不均衡に対処できるようになりました。さらに、与えられたロジスティック回帰モデルの混同行列を返す新しい関数も追加されています。詳しくはドキュメントをご覧ください。なお、BigQuery ML ベータ版は現在、東京（asia-northeast1）リージョンで利用可能です。

クエリ スケジューリング

レポート更新のために毎朝同じクエリを実行することにうんざりしていませんか？ 週間集計テーブルの作成のために cron ジョブをコーディングしたり、その他のツールを使ったりするのは面倒だというユーザーのために、BigQuery Web UI で直接クエリをスケジューリングできるようになりました（ベータ）。

スケジューリングしたいクエリの下の Schedule Query ボタンをクリックしてください。スケジュール、対象テーブル、通知方法を選択できます。現時点では従来のウェブ UI を使わざるを得ませんが、将来は Cloud Console の新 UI に追加する予定です。詳細はドキュメントをご覧ください。

コスト管理システムの正式リリース

BigQuery には、リソースを効率的かつ最大限に活用するためのコスト管理の方法として、クエリ実行前のコスト推計、監査ログ分析などの機能が備わっています。このほどコスト管理システムが正式リリースとなり、企業は顧客が使える上限をカスタム クォータで設定できるようになりました。詳細はドキュメントをご覧ください。

NUMERIC データ型の正式リリース

財務報告や科学計測をはじめとするさまざまなタイプのデータには高精度の数値型が必要です。今回、NUMERIC データ型が正式リリースされ、大きな整数と浮動小数点数を簡単に扱えるようになりました。NUMERIC データは、そのデータ型のテーブルを作ってデータをインポートすれば使用できます。

まとめ

今月は以上です。これらの新機能により、データ分析はより簡単になります。詳細および新リリースの完全なリストについてはリリース ノートをご覧ください。



- By Michael Saunders, Product Manager, BigQuery