メインコンテンツまでスキップ

CREATE TABLE

StarRocks で新しいテーブルを作成します。

ヒント

この操作を行うには、対象データベースに対する CREATE TABLE 権限が必要です。

構文​

CREATE [EXTERNAL] [TEMPORARY] TABLE [IF NOT EXISTS] [database.]table_name
(column_definition1[, column_definition2, ...]
[, index_definition1[, index_definition12,]])
[ENGINE = [olap|mysql|elasticsearch|hive|hudi|iceberg|jdbc]]
[key_desc]
[COMMENT "table comment"]
[partition_desc]
[distribution_desc]
[rollup_index]
[ORDER BY (column_name1,...)]
[PROPERTIES ("key"="value", ...)]
[BROKER PROPERTIES ("key"="value", ...)]

パラメータ​

ヒント
  • 作成するテーブル名、パーティション名、列名、インデックス名は、System limits の命名規則に従う必要があります。
  • データベース名、テーブル名、列名、またはパーティション名を指定する際、StarRocks では一部のリテラルが予約キーワードとして使用されます。これらのキーワードを SQL ステートメントで直接使用しないでください。SQL ステートメントでそのようなキーワードを使用したい場合は、バッククォート (`) で囲んでください。これらの予約キーワードについては、Keywords を参照してください。

column_definition​

構文:

col_name col_type [agg_type] [NULL | NOT NULL] [DEFAULT "default_value"] [AUTO_INCREMENT] [AS generation_expr]

col_name: 列名。

通常、__op または __row で始まる名前の列を作成することはできません。これらの名前形式は StarRocks で特別な目的のために予約されており、そのような列を作成すると未定義の動作を引き起こす可能性があります。そのような列を作成する必要がある場合は、FE 動的パラメータ allow_system_reserved_names を TRUE に設定してください。

col_type: 列の型。具体的な列情報、型や範囲など:

  • TINYINT (1 バイト): -2^7 + 1 から 2^7 - 1 までの範囲。

  • SMALLINT (2 バイト): -2^15 + 1 から 2^15 - 1 までの範囲。

  • INT (4 バイト): -2^31 + 1 から 2^31 - 1 までの範囲。

  • BIGINT (8 バイト): -2^63 + 1 から 2^63 - 1 までの範囲。

  • LARGEINT (16 バイト): -2^127 + 1 から 2^127 - 1 までの範囲。

  • FLOAT (4 バイト): 科学的記数法をサポート。

  • DOUBLE (8 バイト): 科学的記数法をサポート。

  • DECIMAL[(precision, scale)] (16 バイト)

    • デフォルト値: DECIMAL(10, 0)

    • precision: 1 ~ 38

    • scale: 0 ~ precision

    • 整数部分: precision - scale

      科学的記数法はサポートされていません。

  • DATE (3 バイト): 0000-01-01 から 9999-12-31 までの範囲。

  • DATETIME (8 バイト): 0000-01-01 00:00:00 から 9999-12-31 23:59:59 までの範囲。

  • CHAR[(length)]: 固定長文字列。範囲: 1 ~ 255。デフォルト値: 1。

  • VARCHAR[(length)]: 可変長文字列。デフォルト値は 1。単位: バイト。StarRocks 2.1 より前のバージョンでは、length の値の範囲は 1–65533 です。[プレビュー] StarRocks 2.1 以降のバージョンでは、length の値の範囲は 1–1048576 です。

  • HLL (1~16385 バイト): HLL 型の場合、長さやデフォルト値を指定する必要はありません。長さはデータ集約に応じてシステム内で制御されます。HLL 列は hll_union_agg、Hll_cardinality、および hll_hash によってのみクエリまたは使用できます。

  • BITMAP: ビットマップ型は指定された長さやデフォルト値を必要としません。これは符号なし bigint 数の集合を表します。最大の要素は 2^64 - 1 まで可能です。

agg_type: 集約タイプ。指定されていない場合、この列はキー列です。指定されている場合、それは値列です。サポートされている集約タイプは次のとおりです:

  • SUM, MAX, MIN, REPLACE
  • HLL_UNION (HLL 型のみ)
  • BITMAP_UNION (BITMAP のみ)
  • REPLACE_IF_NOT_NULL: これは、インポートされたデータが非 NULL 値の場合にのみ置き換えられることを意味します。NULL 値の場合、StarRocks は元の値を保持します。

NOTE

  • 集約タイプ BITMAP_UNION の列がインポートされるとき、その元のデータ型は TINYINT、SMALLINT、INT、および BIGINT でなければなりません。
  • テーブル作成時に REPLACE_IF_NOT_NULL 列に NOT NULL が指定されている場合、StarRocks はデータを NULL に変換してもユーザーにエラーレポートを送信しません。これにより、ユーザーは選択した列をインポートできます。

この集約タイプは、キータイプが AGGREGATE KEY である集計テーブルにのみ適用されます。v3.1.9 以降、REPLACE_IF_NOT_NULL は BITMAP 型の列を新たにサポートします。

NULL | NOT NULL: 列が NULL を許可するかどうか。デフォルトでは、重複キーテーブル、集計テーブル、またはユニークキーテーブルを使用するテーブル内のすべての列に対して NULL が指定されます。主キーテーブルを使用するテーブルでは、デフォルトで値列には NULL が指定され、キー列には NOT NULL が指定されます。生データに NULL 値が含まれている場合は、\N で表現してください。StarRocks はデータロード中に \N を NULL として扱います。

DEFAULT "default_value": 列のデフォルト値。StarRocks にデータをロードする際、列にマッピングされたソースフィールドが空の場合、StarRocks は自動的にデフォルト値をその列に入力します。デフォルト値を指定する方法は次のとおりです:

  • DEFAULT current_timestamp: 現在の時刻をデフォルト値として使用します。詳細は current_timestamp() を参照してください。
  • DEFAULT <default_value>: 列データ型の指定された値をデフォルト値として使用します。たとえば、列のデータ型が VARCHAR の場合、DEFAULT "beijing" のように、デフォルト値として beijing という VARCHAR 文字列を指定できます。デフォルト値は次の型のいずれかであってはなりません: ARRAY、BITMAP、JSON、HLL、および BOOLEAN。
  • DEFAULT (<expr>): 指定された関数の結果をデフォルト値として使用します。サポートされているのは uuid() と uuid_numeric() のみです。

AUTO_INCREMENT: AUTO_INCREMENT 列を指定します。AUTO_INCREMENT 列のデータ型は BIGINT でなければなりません。自動インクリメント ID は 1 から始まり、1 ずつ増加します。AUTO_INCREMENT 列の詳細については、AUTO_INCREMENT を参照してください。v3.0 以降、StarRocks は AUTO_INCREMENT 列をサポートします。

AS generation_expr: 生成列とその式を指定します。生成列 は、式の結果を事前に計算して保存するために使用でき、同じ複雑な式を含むクエリを大幅に高速化します。v3.1 以降、StarRocks は生成列をサポートします。

index_definition​

INDEX index_name (col_name[, col_name, ...]) [USING BITMAP] COMMENT 'xxxxxx'

パラメータの説明と使用上の注意については、ビットマップインデックス を参照してください。

ENGINE type​

デフォルト値: olap。このパラメータが指定されていない場合、デフォルトで OLAP テーブル (StarRocks 内部テーブル) が作成されます。

オプション値: mysql、elasticsearch、hive、jdbc (2.3 以降)、iceberg、および hudi (2.2 以降)。外部データソースをクエリするための外部テーブルを作成する場合は、CREATE EXTERNAL TABLE を指定し、ENGINE をこれらのいずれかの値に設定します。詳細については、外部テーブル を参照してください。

Hive、Iceberg、Hudi、および JDBC データソースからデータをクエリするには、カタログを使用することをお勧めします。外部テーブルは非推奨です。

v3.1 以降、StarRocks は Iceberg カタログで Parquet 形式のテーブルを作成することをサポートし、INSERT INTO を使用してこれらの Parquet 形式の Iceberg テーブルにデータを挿入できます。

v3.2 以降、StarRocks は Hive カタログで Parquet 形式のテーブルを作成することをサポートし、INSERT INTO を使用してこれらの Parquet 形式の Hive テーブルにデータを挿入できます。v3.3 以降、StarRocks は Hive カタログで ORC および Textfile 形式のテーブルを作成することをサポートし、INSERT INTO を使用してこれらの ORC および Textfile 形式の Hive テーブルにデータを挿入できます。

  • MySQL の場合、次のプロパティを指定します:

    PROPERTIES (
        "host" = "mysql_server_host",
        "port" = "mysql_server_port",
        "user" = "your_user_name",
        "password" = "your_password",
        "database" = "database_name",
        "table" = "table_name"
    )

    注意:

    MySQL の "table_name" は実際のテーブル名を示す必要があります。対照的に、CREATE TABLE ステートメントの "table_name" は StarRocks 上のこの MySQL テーブルの名前を示します。これらは異なる場合も同じ場合もあります。

    StarRocks で MySQL テーブルを作成する目的は、MySQL データベースにアクセスすることです。StarRocks 自体は MySQL データを維持または保存しません。

  • Elasticsearch の場合、次のプロパティを指定します:

    PROPERTIES (

    "hosts" = "http://192.168.0.1:8200,http://192.168.0.2:8200",
    "user" = "root",
    "password" = "root",
    "index" = "tindex",
    "type" = "doc"
    )
    • hosts: Elasticsearch クラスタに接続するために使用される URL。1 つ以上の URL を指定できます。
    • user: 基本認証が有効な Elasticsearch クラスタにログインするために使用されるルートユーザーのアカウント。
    • password: 前述のルートアカウントのパスワード。
    • index: Elasticsearch クラスタ内の StarRocks テーブルのインデックス。インデックス名は StarRocks テーブル名と同じです。このパラメータを StarRocks テーブルのエイリアスに設定できます。
    • type: インデックスタイプ。デフォルト値は doc です。

  • Hive の場合、次のプロパティを指定します:

    PROPERTIES (

        "database" = "hive_db_name",
        "table" = "hive_table_name",
        "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083"
    )

    ここで、database は Hive テーブル内の対応するデータベースの名前です。table は Hive テーブルの名前です。hive.metastore.uris はサーバーアドレスです。

  • JDBC の場合、次のプロパティを指定します:

    PROPERTIES (
    "resource"="jdbc0",
    "table"="dest_tbl"
    )

    resource は JDBC リソース名で、table は宛先テーブルです。

  • Iceberg の場合、次のプロパティを指定します:

     PROPERTIES (
     "resource" = "iceberg0", 
     "database" = "iceberg", 
     "table" = "iceberg_table"
     )

    resource は Iceberg リソース名です。database は Iceberg データベースです。table は Iceberg テーブルです。

  • Hudi の場合、次のプロパティを指定します:

      PROPERTIES (
      "resource" = "hudi0", 
      "database" = "hudi", 
      "table" = "hudi_table" 
      )

key_desc​

構文:

key_type(k1[,k2 ...])

データは指定されたキー列で順序付けされ、異なるキータイプに対して異なる属性を持ちます:

  • AGGREGATE KEY: キー列内の同一の内容は、指定された集約タイプに従って値列に集約されます。通常、財務報告書や多次元分析などのビジネスシナリオに適用されます。
  • UNIQUE KEY/PRIMARY KEY: キー列内の同一の内容は、インポート順に従って値列に置き換えられます。キー列の追加、削除、変更、クエリに適用できます。
  • DUPLICATE KEY: キー列内の同一の内容は、StarRocks に同時に存在します。詳細データや集約属性のないデータを保存するために使用できます。DUPLICATE KEY はデフォルトのタイプです。データはキー列に従って順序付けされます。

NOTE

AGGREGATE KEY を除いて、他の key_type を使用してテーブルを作成する場合、値列に集約タイプを指定する必要はありません。

COMMENT​

テーブルを作成する際に、テーブルコメントを追加することができます（オプション）。COMMENT は key_desc の後に配置する必要があります。それ以外の場合、テーブルは作成されません。

v3.1 以降、ALTER TABLE <table_name> COMMENT = "new table comment" を使用してテーブルコメントを変更できます。

partition_desc​

パーティションの説明は次の方法で使用できます:

パーティションを動的に作成する​

動的パーティション化 は、パーティションのタイムトゥリブ（TTL）管理を提供します。StarRocks はデータの新鮮さを確保するために、新しいパーティションを事前に自動的に作成し、期限切れのパーティションを削除します。この機能を有効にするには、テーブル作成時に動的パーティション化関連のプロパティを設定します。

パーティションを一つずつ作成する​

パーティションの上限のみを指定する

構文:

PARTITION BY RANGE ( <partitioning_column1> [, <partitioning_column2>, ... ] )
  PARTITION <partition1_name> VALUES LESS THAN ("<upper_bound_for_partitioning_column1>" [ , "<upper_bound_for_partitioning_column2>", ... ] )
  [ ,
  PARTITION <partition2_name> VALUES LESS THAN ("<upper_bound_for_partitioning_column1>" [ , "<upper_bound_for_partitioning_column2>", ... ] )
  , ... ] 
)

注意:

指定されたキー列と指定された値の範囲を使用してパーティション化してください。

  • パーティションの命名規則については、System limits を参照してください。

  • v3.3.0 より前は、レンジパーティション化の列は TINYINT、SMALLINT、INT、BIGINT、LARGEINT、DATE、および DATETIME のみをサポートしていました。v3.3.0 以降、3 つの特定の時間関数をレンジパーティション化の列として使用できます。詳細な使用方法については、Data distribution を参照してください。

  • パーティションは左閉右開です。最初のパーティションの左境界は最小値です。

  • NULL 値は最小値を含むパーティションにのみ保存されます。最小値を含むパーティションが削除されると、NULL 値はインポートできなくなります。

  • パーティション列は単一の列または複数の列にすることができます。パーティション値はデフォルトの最小値です。

  • パーティション列として 1 つの列のみを指定する場合、最新のパーティションのパーティション列の上限として MAXVALUE を設定できます。

    PARTITION BY RANGE (pay_dt) (
      PARTITION p1 VALUES LESS THAN ("20210102"),
      PARTITION p2 VALUES LESS THAN ("20210103"),
      PARTITION p3 VALUES LESS THAN MAXVALUE
    )

注意してください:

  • パーティションは、時間に関連するデータを管理するためによく使用されます。
  • データのバックトラッキングが必要な場合、必要に応じてパーティションを追加するために最初のパーティションを空にすることを検討するかもしれません。

パーティションの下限と上限の両方を指定する

構文:

PARTITION BY RANGE ( <partitioning_column1> [, <partitioning_column2>, ... ] )
(
    PARTITION <partition_name1> VALUES [( "<lower_bound_for_partitioning_column1>" [ , "<lower_bound_for_partitioning_column2>", ... ] ), ( "<upper_bound_for_partitioning_column1?" [ , "<upper_bound_for_partitioning_column2>", ... ] ) ) 
    [,
    PARTITION <partition_name2> VALUES [( "<lower_bound_for_partitioning_column1>" [ , "<lower_bound_for_partitioning_column2>", ... ] ), ( "<upper_bound_for_partitioning_column1>" [ , "<upper_bound_for_partitioning_column2>", ... ] ) ) 
    , ...]
)

注意:

  • 固定範囲は LESS THAN よりも柔軟です。左と右のパーティションをカスタマイズできます。

  • 固定範囲は他の点では LESS THAN と同じです。

  • パーティション列として 1 つの列のみを指定する場合、最新のパーティションのパーティション列の上限として MAXVALUE を設定できます。

    PARTITION BY RANGE (pay_dt) (
      PARTITION p202101 VALUES [("20210101"), ("20210201")),
      PARTITION p202102 VALUES [("20210201"), ("20210301")),
      PARTITION p202103 VALUES [("20210301"), (MAXVALUE))
    )

バッチで複数のパーティションを作成する​

構文

  • パーティション列が日付型の場合。

    PARTITION BY RANGE (<partitioning_column>) (
        START ("<start_date>") END ("<end_date>") EVERY (INTERVAL <N> <time_unit>)
    )

  • パーティション列が整数型の場合。

    PARTITION BY RANGE (<partitioning_column>) (
        START ("<start_integer>") END ("<end_integer>") EVERY (<partitioning_granularity>)
    )

説明

START() と END() で開始値と終了値を指定し、EVERY() で時間単位またはパーティショングラニュラリティを指定して、バッチで複数のパーティションを作成できます。

  • v3.3.0 より前は、レンジパーティション化の列は TINYINT、SMALLINT、INT、BIGINT、LARGEINT、DATE、および DATETIME のみをサポートしていました。v3.3.0 以降、3 つの特定の時間関数をレンジパーティション化の列として使用できます。詳細な使用方法については、Data distribution を参照してください。
  • パーティション列が日付型の場合、INTERVAL キーワードを使用して時間間隔を指定する必要があります。時間単位として hour (v3.0 以降)、day、week、month、または year を指定できます。パーティションの命名規則は動的パーティションと同じです。

詳細については、Data distribution を参照してください。

distribution_desc​

StarRocks はハッシュバケット法とランダムバケット法をサポートしています。バケット法を設定しない場合、StarRocks はデフォルトでランダムバケット法を使用し、バケット数を自動的に設定します。

  • ランダムバケット法 (v3.1 以降)

    パーティション内のデータについて、StarRocks はすべてのバケットにランダムにデータを分配します。特定の列値に基づいていません。StarRocks にバケット数を自動的に設定させたい場合は、バケット設定を指定する必要はありません。バケット数を手動で指定する場合の構文は次のとおりです:

    DISTRIBUTED BY RANDOM BUCKETS <num>

    ただし、ランダムバケット法によって提供されるクエリパフォーマンスは、大量のデータをクエリし、特定の列を条件列として頻繁に使用する場合には理想的ではないかもしれません。このシナリオでは、ハッシュバケット法を使用することをお勧めします。スキャンおよび計算が必要なバケットの数が少なくなり、クエリパフォーマンスが大幅に向上します。

    注意事項

    • ランダムバケット法は重複キーテーブルの作成にのみ使用できます。
    • ランダムにバケットされたテーブルには Colocation Group を指定できません。
    • Spark Load を使用してランダムにバケットされたテーブルにデータをロードすることはできません。
    • StarRocks v2.5.7 以降、テーブルを作成する際にバケット数を設定する必要はありません。StarRocks はバケット数を自動的に設定します。このパラメータを設定したい場合は、Set the number of buckets を参照してください。

    詳細については、Random bucketing を参照してください。

  • ハッシュバケット法

    構文:

    DISTRIBUTED BY HASH (k1[,k2 ...]) [BUCKETS num]

    パーティション内のデータは、バケット列のハッシュ値とバケット数に基づいてバケットに細分化されます。次の 2 つの要件を満たす列をバケット列として選択することをお勧めします。

    • 高いカーディナリティを持つ列（例: ID）
    • クエリでフィルタとしてよく使用される列

    そのような列が存在しない場合は、クエリの複雑さに応じてバケット列を決定できます。

    • クエリが複雑な場合は、バケット列として高いカーディナリティを持つ列を選択して、バケット間でのデータ分布のバランスを確保し、クラスタリソースの利用率を向上させることをお勧めします。
    • クエリが比較的単純な場合は、クエリ条件としてよく使用される列をバケット列として選択して、クエリ効率を向上させることをお勧めします。

    1 つのバケット列を使用してパーティションデータを均等に分配できない場合は、複数のバケット列（最大 3 つ）を選択できます。詳細については、Choose bucketing columns を参照してください。

    注意事項:

    • テーブルを作成する際に、バケット列を指定する必要があります。
    • バケット列の値は更新できません。
    • バケット列は指定後に変更できません。
    • StarRocks v2.5.7 以降、テーブルを作成する際にバケット数を設定する必要はありません。StarRocks はバケット数を自動的に設定します。このパラメータを設定したい場合は、Set the number of buckets を参照してください。

ORDER BY​

v3.0 以降、主キーテーブルは ORDER BY を使用してソートキーを定義することをサポートしています。v3.3 以降、重複キーテーブル、集計テーブル、およびユニークキーテーブルは ORDER BY を使用してソートキーを定義することをサポートしています。

ソートキーの詳細については、Sort keys and prefix indexes を参照してください。

TEMPORARY​

一時テーブルを作成します。v3.3.1 以降、StarRocks は Default Catalog での一時テーブルの作成をサポートしています。詳細については、Temporary Table を参照してください。

注記

一時テーブルを作成する際には、ENGINE を olap に設定する必要があります。

PROPERTIES​

初期記憶媒体、ストレージクールダウン時間、自動レプリカ数を指定する​

エンジンタイプが OLAP の場合、テーブル作成時に初期記憶媒体 (storage_medium)、自動ストレージクールダウン時間 (storage_cooldown_time) または時間間隔 (storage_cooldown_ttl)、およびレプリカ数 (replication_num) を指定できます。

プロパティが有効になる範囲: テーブルにパーティションが 1 つしかない場合、プロパティはテーブルに属します。テーブルが複数のパーティションに分割されている場合、プロパティは各パーティションに属します。指定されたパーティションに異なるプロパティを設定する必要がある場合は、テーブル作成後に ALTER TABLE ... ADD PARTITION または ALTER TABLE ... MODIFY PARTITION を実行できます。

初期記憶媒体と自動ストレージクールダウン時間を設定する

PROPERTIES (
    "storage_medium" = "[SSD|HDD]",
    { "storage_cooldown_ttl" = "<num> { YEAR | MONTH | DAY | HOUR } "
    | "storage_cooldown_time" = "yyyy-MM-dd HH:mm:ss" }
)

  • storage_medium: 初期記憶媒体で、SSD または HDD に設定できます。明示的に指定した記憶媒体のタイプが StarRocks クラスタの BE ディスクタイプ（BE 静的パラメータ storage_root_path で指定）と一致していることを確認してください。

    FE 設定項目 enable_strict_storage_medium_check が true に設定されている場合、テーブル作成時にシステムは BE ディスクタイプを厳密にチェックします。CREATE TABLE で指定した記憶媒体が BE ディスクタイプと一致しない場合、エラー "Failed to find enough host in all backends with storage medium is SSD|HDD." が返され、テーブル作成が失敗します。enable_strict_storage_medium_check が false に設定されている場合、システムはこのエラーを無視し、強制的にテーブルを作成します。ただし、データがロードされた後、クラスタのディスクスペースが不均等に分配される可能性があります。

    v2.3.6、v2.4.2、v2.5.1、および v3.0 以降、storage_medium が明示的に指定されていない場合、システムは BE ディスクタイプに基づいて記憶媒体を自動的に推測します。

    • システムは次のシナリオでこのパラメータを SSD に自動設定します:

      • BEs によって報告されたディスクタイプ（storage_root_path）が SSD のみを含む場合。
      • BEs によって報告されたディスクタイプ（storage_root_path）が SSD と HDD の両方を含む場合。v2.3.10、v2.4.5、v2.5.4、および v3.0 以降、BEs によって報告された storage_root_path が SSD と HDD の両方を含み、プロパティ storage_cooldown_time が指定されている場合、システムは storage_medium を SSD に設定します。

    • システムは次のシナリオでこのパラメータを HDD に自動設定します:

      • BEs によって報告されたディスクタイプ（storage_root_path）が HDD のみを含む場合。
      • 2.3.10、2.4.5、2.5.4、および 3.0 以降、BEs によって報告された storage_root_path が SSD と HDD の両方を含み、プロパティ storage_cooldown_time が指定されていない場合、システムは storage_medium を HDD に設定します。

  • storage_cooldown_ttl または storage_cooldown_time: 自動ストレージクールダウン時間または時間間隔。自動ストレージクールダウンとは、データを SSD から HDD に自動的に移行することを指します。この機能は、初期記憶媒体が SSD の場合にのみ有効です。

    パラメータ

    • storage_cooldown_ttl: このテーブルのパーティションに対する自動ストレージクールダウンの時間間隔。最新のパーティションを SSD に保持し、一定の時間間隔後に古いパーティションを HDD に自動的にクールダウンする必要がある場合、このパラメータを使用できます。各パーティションの自動ストレージクールダウン時間は、このパラメータの値とパーティションの上限時間を使用して計算されます。

    サポートされている値は <num> YEAR、<num> MONTH、<num> DAY、および <num> HOUR です。<num> は非負整数です。デフォルト値は null であり、ストレージクールダウンが自動的に実行されないことを示します。

    たとえば、テーブル作成時に "storage_cooldown_ttl"="1 DAY" と指定し、範囲が [2023-08-01 00:00:00,2023-08-02 00:00:00) のパーティション p20230801 が存在する場合、このパーティションの自動ストレージクールダウン時間は 2023-08-03 00:00:00 であり、これは 2023-08-02 00:00:00 + 1 DAY です。テーブル作成時に "storage_cooldown_ttl"="0 DAY" と指定した場合、このパーティションの自動ストレージクールダウン時間は 2023-08-02 00:00:00 です。

    • storage_cooldown_time: テーブルが SSD から HDD にクールダウンされるときの自動ストレージクールダウン時間（絶対時間）。指定された時間は現在の時間よりも後である必要があります。形式: "yyyy-MM-dd HH:mm:ss"。指定されたパーティションに異なるプロパティを設定する必要がある場合は、テーブル作成後に ALTER TABLE ... ADD PARTITION または ALTER TABLE ... MODIFY PARTITION を実行できます。

使用方法

  • 自動ストレージクールダウンに関連するパラメータの比較は次のとおりです:

    • storage_cooldown_ttl: テーブル内のパーティションに対する自動ストレージクールダウンの時間間隔を指定するテーブルプロパティ。このパラメータの値とパーティションの上限時間を足した時刻にパーティションを自動的にクールダウンします。したがって、自動ストレージクールダウンはパーティショングラニュラリティで実行され、より柔軟です。
    • storage_cooldown_time: このテーブルに対する自動ストレージクールダウン時間（絶対時間）を指定するテーブルプロパティです。また、テーブル作成後に指定されたパーティションに異なるプロパティを設定することもできます。
    • storage_cooldown_second: クラスタ内のすべてのテーブルに対する自動ストレージクールダウン遅延を指定する静的 FE パラメータです。

  • テーブルプロパティ storage_cooldown_ttl または storage_cooldown_time は、FE 静的パラメータ storage_cooldown_second よりも優先されます。

  • これらのパラメータを設定する際には、"storage_medium = "SSD" を指定する必要があります。

  • これらのパラメータを設定しない場合、自動ストレージクールダウンは自動的に実行されません。

  • 各パーティションの自動ストレージクールダウン時間を表示するには、SHOW PARTITIONS FROM <table_name> を実行します。

制限

  • 式およびリストパーティション化はサポートされていません。
  • パーティション列は日付型である必要があります。
  • 複数のパーティション列はサポートされていません。
  • 主キーテーブルはサポートされていません。

各パーティション内のタブレットのレプリカ数を設定する

replication_num: 各パーティション内のテーブルのレプリカ数。デフォルト数: 3。

PROPERTIES (
    "replication_num" = "<num>"
)

列にブルームフィルターインデックスを追加する​

エンジンタイプが olap の場合、ブルームフィルターインデックスを採用する列を指定できます。

ブルームフィルターインデックスを使用する際の制限は次のとおりです:

  • 重複キーテーブルまたは主キーテーブルのすべての列にブルームフィルターインデックスを作成できます。集計テーブルまたはユニークキーテーブルの場合、キー列にのみブルームフィルターインデックスを作成できます。
  • TINYINT、FLOAT、DOUBLE、および DECIMAL 列はブルームフィルターインデックスの作成をサポートしていません。
  • ブルームフィルターインデックスは、in および = 演算子を含むクエリのパフォーマンスを向上させることができます。たとえば、Select xxx from table where x in {} および Select xxx from table where column = xxx です。この列により多くの離散値があると、より正確なクエリが可能になります。

詳細については、ブルームフィルターインデックス を参照してください。

PROPERTIES (
    "bloom_filter_columns"="k1,k2,k3"
)

Colocate Join を使用する​

Colocate Join 属性を使用する場合は、properties に指定してください。

PROPERTIES (
    "colocate_with"="table1"
)

動的パーティションを設定する​

動的パーティション属性を使用する場合は、properties に指定してください。

PROPERTIES (

    "dynamic_partition.enable" = "true|false",
    "dynamic_partition.time_unit" = "DAY|WEEK|MONTH",
    "dynamic_partition.start" = "${integer_value}",
    "dynamic_partition.end" = "${integer_value}",
    "dynamic_partition.prefix" = "${string_value}",
    "dynamic_partition.buckets" = "${integer_value}"

PROPERTIES

パラメータ必須説明
dynamic_partition.enableNo動的パーティション化を有効にするかどうか。 有効な値: TRUE および FALSE。 デフォルト値: TRUE。
dynamic_partition.time_unitYes動的に作成されるパーティションの時間粒度。必須パラメータです。有効な値: DAY、WEEK、および MONTH。時間粒度は動的に作成されるパーティションのサフィックス形式を決定します。
- 値が DAY の場合、動的に作成されるパーティションのサフィックス形式は yyyyMMdd です。例として、パーティション名のサフィックスは 20200321 です。
- 値が WEEK の場合、動的に作成されるパーティションのサフィックス形式は yyyy_ww です。例として、2020 年の第 13 週は 2020_13 です。
- 値が MONTH の場合、動的に作成されるパーティションのサフィックス形式は yyyyMM です。例として、202003 です。
dynamic_partition.startNo動的パーティション化の開始オフセット。このパラメータの値は負の整数でなければなりません。このオフセットより前のパーティションは、dynamic_partition.time_unit によって決定される現在の日、週、または月に基づいて削除されます。デフォルト値は Integer.MIN_VALUE、つまり -2147483648 であり、履歴パーティションが削除されないことを意味します。
dynamic_partition.endYes動的パーティション化の終了オフセット。このパラメータの値は正の整数でなければなりません。現在の日、週、または月から終了オフセットまでのパーティションが事前に作成されます。
dynamic_partition.prefixNo動的パーティションの名前に追加されるプレフィックス。デフォルト値: p。
dynamic_partition.bucketsNo動的パーティションごとのバケット数。デフォルト値は、予約語 BUCKETS によって決定されるバケット数と同じです。または StarRocks によって自動的に設定されます。

ランダムバケット法で設定されたテーブルのバケットサイズ (bucket_size) を指定する​

v3.2 以降、ランダムバケット法で設定されたテーブルの場合、テーブル作成時に PROPERTIES 内の bucket_size パラメータを使用してバケットサイズを指定し、バケット数のオンデマンドおよび動的な増加を有効にできます。単位: B。

PROPERTIES (
    "bucket_size" = "1073741824"
)

データ圧縮アルゴリズムを設定する​

テーブル作成時にプロパティ compression を追加することで、テーブルのデータ圧縮アルゴリズムを指定できます。

compression の有効な値は次のとおりです:

  • LZ4: LZ4 アルゴリズム。
  • ZSTD: Zstandard アルゴリズム。
  • ZLIB: zlib アルゴリズム。
  • SNAPPY: Snappy アルゴリズム。

v3.3.2 以降、StarRocks はテーブル作成時に zstd 圧縮形式の圧縮レベルを指定することをサポートしています。

構文:

PROPERTIES ("compression" = "zstd(<compression_level>)")

compression_level: ZSTD 圧縮形式の圧縮レベル。タイプ: 整数。範囲: [1,22]。デフォルト: 3（推奨）。数値が大きいほど圧縮率が高くなります。圧縮レベルが高いほど、圧縮および解凍にかかる時間が増加します。

例:

PROPERTIES ("compression" = "zstd(3)")

適切なデータ圧縮アルゴリズムの選択方法については、Data compression を参照してください。

データロードの書き込みクォーラムを設定する​

StarRocks クラスタに複数のデータレプリカがある場合、テーブルに対して異なる書き込みクォーラムを設定できます。つまり、StarRocks がロードタスクを成功と判断する前に、ロード成功を返す必要があるレプリカの数です。テーブル作成時にプロパティ write_quorum を追加して書き込みクォーラムを指定できます。このプロパティは v2.5 からサポートされています。

write_quorum の有効な値は次のとおりです:

  • MAJORITY: デフォルト値。データレプリカの過半数がロード成功を返した場合、StarRocks はロードタスク成功を返します。それ以外の場合、StarRocks はロードタスク失敗を返します。
  • ONE: データレプリカの1 つがロード成功を返した場合、StarRocks はロードタスク成功を返します。それ以外の場合、StarRocks はロードタスク失敗を返します。
  • ALL: データレプリカのすべてがロード成功を返した場合、StarRocks はロードタスク成功を返します。それ以外の場合、StarRocks はロードタスク失敗を返します。

注意

  • ロードのために低い書き込みクォーラムを設定すると、データのアクセス不能や損失のリスクが増加します。たとえば、StarRocks クラスタに 2 つのレプリカがある場合、1 つの書き込みクォーラムでテーブルにデータをロードし、データが 1 つのレプリカにのみ正常にロードされたとします。StarRocks がロードタスクを成功と判断しても、データの生存レプリカは 1 つだけです。ロードされたデータのタブレットを保存するサーバーがダウンした場合、これらのタブレット内のデータはアクセス不能になります。サーバーのディスクが破損した場合、データは失われます。
  • StarRocks は、すべてのデータレプリカがステータスを返した後にのみロードタスクのステータスを返します。ロードステータスが不明なレプリカがある場合、StarRocks はロードタスクのステータスを返しません。レプリカ内でロードタイムアウトもロード失敗と見なされます。

レプリカ間のデータ書き込みおよびレプリケーションモードを指定する​

StarRocks クラスタに複数のデータレプリカがある場合、PROPERTIES 内の replicated_storage パラメータを指定して、レプリカ間のデータ書き込みおよびレプリケーションモードを設定できます。

  • true (v3.0 以降のデフォルト) は「単一リーダーレプリケーション」を示し、データはプライマリレプリカにのみ書き込まれます。他のレプリカはプライマリレプリカからデータを同期します。このモードは、複数のレプリカへのデータ書き込みによる CPU コストを大幅に削減します。v2.5 からサポートされています。
  • false (v2.5 のデフォルト) は「リーダーレスレプリケーション」を示し、データはプライマリおよびセカンダリレプリカを区別せずに直接複数のレプリカに書き込まれます。CPU コストはレプリカの数によって増加します。

ほとんどの場合、デフォルト値を使用することでより良いデータ書き込みパフォーマンスが得られます。レプリカ間のデータ書き込みおよびレプリケーションモードを変更したい場合は、ALTER TABLE コマンドを実行してください。例:

    ALTER TABLE example_db.my_table
    SET ("replicated_storage" = "false");

一括でロールアップを作成する​

テーブル作成時に一括でロールアップを作成できます。

構文:

ROLLUP (rollup_name (column_name1, column_name2, ...)
[FROM from_index_name]
[PROPERTIES ("key"="value", ...)],...)

View Delta Join クエリの書き換えのためにユニークキー制約と外部キー制約を定義する​

View Delta Join シナリオでクエリの書き換えを有効にするには、Delta Join で結合されるテーブルに対してユニークキー制約 unique_constraints と外部キー制約 foreign_key_constraints を定義する必要があります。詳細については、Asynchronous materialized view - Rewrite queries in View Delta Join scenario を参照してください。

PROPERTIES (
    "unique_constraints" = "<unique_key>[, ...]",
    "foreign_key_constraints" = "
    (<child_column>[, ...]) 
    REFERENCES 
    [catalog_name].[database_name].<parent_table_name>(<parent_column>[, ...])
    [;...]
    "
)
  • child_column: テーブルの外部キー。複数の child_column を定義できます。
  • catalog_name: 結合されるテーブルが存在するカタログの名前。指定されていない場合はデフォルトのカタログが使用されます。
  • database_name: 結合されるテーブルが存在するデータベースの名前。指定されていない場合は現在のデータベースが使用されます。
  • parent_table_name: 結合されるテーブルの名前。
  • parent_column: 結合される列。これらは対応するテーブルの主キーまたはユニークキーでなければなりません。

注意

  • unique_constraints と foreign_key_constraints はクエリの書き換えにのみ使用されます。テーブルにデータがロードされる際に外部キー制約のチェックは保証されません。テーブルにロードされるデータが制約を満たしていることを確認する必要があります。
  • 主キーテーブルの主キーまたはユニークキーテーブルのユニークキーは、デフォルトで対応する unique_constraints です。手動で設定する必要はありません。
  • テーブルの foreign_key_constraints 内の child_column は、他のテーブルの unique_constraints 内の unique_key に参照される必要があります。
  • child_column と parent_column の数は一致している必要があります。
  • child_column と対応する parent_column のデータ型は一致している必要があります。

StarRocks 共有データクラスタ用のクラウドネイティブテーブルを作成する​

StarRocks 共有データクラスタを使用するには、次のプロパティを持つクラウドネイティブテーブルを作成する必要があります:

PROPERTIES (
    "storage_volume" = "<storage_volume_name>",
    "datacache.enable" = "{ true | false }",
    "datacache.partition_duration" = "<string_value>"
)

  • storage_volume: 作成するクラウドネイティブテーブルを保存するために使用されるストレージボリュームの名前。このプロパティが指定されていない場合、デフォルトのストレージボリュームが使用されます。このプロパティは v3.1 以降でサポートされています。

  • datacache.enable: ローカルディスクキャッシュを有効にするかどうか。デフォルト: true。

    • このプロパティが true に設定されている場合、ロードされるデータはオブジェクトストレージとローカルディスク（クエリアクセラレーションのキャッシュとして）に同時に書き込まれます。

    • このプロパティが false に設定されている場合、データはオブジェクトストレージにのみロードされます。

    注意

    ローカルディスクキャッシュを有効にするには、BE 設定項目 storage_root_path にディスクのディレクトリを指定する必要があります。

  • datacache.partition_duration: ホットデータの有効期間。ローカルディスクキャッシュが有効な場合、すべてのデータがキャッシュにロードされます。キャッシュがいっぱいになると、StarRocks はキャッシュから使用頻度の低いデータを削除します。クエリが削除されたデータをスキャンする必要がある場合、StarRocks はデータが有効期間内であるかどうかを確認します。データが有効期間内であれば、StarRocks はデータを再度キャッシュにロードします。データが有効期間外であれば、StarRocks はデータをキャッシュにロードしません。このプロパティは、YEAR、MONTH、DAY、HOUR などの単位で指定できる文字列値です。例: 7 DAY、12 HOUR。指定されていない場合、すべてのデータがホットデータとしてキャッシュされます。

    注意

    このプロパティは datacache.enable が true に設定されている場合にのみ利用可能です。

高速スキーマ進化を設定する​

fast_schema_evolution: テーブルの高速スキーマ進化を有効にするかどうか。 有効な値は TRUE または FALSE（デフォルト）です。高速スキーマ進化を有効にすると、スキーマ変更の速度が向上し、列の追加や削除時のリソース使用量が削減されます。現在、このプロパティはテーブル作成時にのみ有効にでき、テーブル作成後に ALTER TABLE を使用して変更することはできません。

注意

  • 高速スキーマ進化は、v3.2.0 以降の共有なしクラスタでサポートされています。
  • 高速スキーマ進化は、v3.3 以降の共有データクラスタでサポートされており、デフォルトで有効になっています。共有データクラスタでクラウドネイティブテーブルを作成する際にこのプロパティを指定する必要はありません。FE 動的パラメータ enable_fast_schema_evolution（デフォルト: true）がこの動作を制御します。

Base Compaction を禁止する​

base_compaction_forbidden_time_ranges: テーブルに対して Base Compaction が禁止される時間範囲。このプロパティが設定されている場合、システムは指定された時間範囲外でのみ適格なタブレットに対して Base Compaction を実行します。このプロパティは v3.2.13 からサポートされています。

注意

Base Compaction が禁止されている期間中にテーブルにロードされるデータの数が 500 を超えないようにしてください。

base_compaction_forbidden_time_ranges の値は Quartz cron syntax に従い、<minute> <hour> <day-of-the-month> <month> <day-of-the-week> のフィールドのみをサポートします。<minute> は * でなければなりません。

crontab_param_value ::= [ "" | crontab ]

crontab ::= * <hour> <day-of-the-month> <month> <day-of-the-week>
  • このプロパティが設定されていない場合、または ""（空の文字列）に設定されている場合、Base Compaction は常に許可されます。
  • このプロパティが * * * * * に設定されている場合、Base Compaction は常に禁止されます。
  • その他の値は Quartz cron syntax に従います。
    • 独立した値はフィールドの単位時間を示します。たとえば、<hour> フィールドの 8 は 8:00-8:59 を意味します。
    • 値の範囲はフィールドの時間範囲を示します。たとえば、<hour> フィールドの 8-9 は 8:00-9:59 を意味します。
    • カンマで区切られた複数の値の範囲は、フィールドの複数の時間範囲を示します。
    • <day of the week> は 1 から始まり、7 は土曜日を表します。

例:

-- 毎日午前 8 時から午後 9 時まで Base Compaction を禁止します。
'base_compaction_forbidden_time_ranges' = '* 8-20 * * *'

-- 毎日午前 0 時から午前 5 時までと午後 9 時から午後 11 時まで Base Compaction を禁止します。
'base_compaction_forbidden_time_ranges' = '* 0-4,21-22 * * *'

-- 月曜日から金曜日まで Base Compaction を禁止します（土曜日と日曜日は許可されます）。
'base_compaction_forbidden_time_ranges' = '* * * * 2-6'

-- 平日の午前 8 時から午後 9 時まで Base Compaction を禁止します（月曜日から金曜日）。
'base_compaction_forbidden_time_ranges' = '* 8-20 * * 2-6'

例​

ハッシュバケット法と列指向ストレージを使用する集計テーブルを作成する​

CREATE TABLE example_db.table_hash
(
    k1 TINYINT,
    k2 DECIMAL(10, 2) DEFAULT "10.5",
    v1 CHAR(10) REPLACE,
    v2 INT SUM
)
ENGINE=olap
AGGREGATE KEY(k1, k2)
COMMENT "my first starrocks table"
DISTRIBUTED BY HASH(k1)
PROPERTIES ("storage_type"="column");

集計テーブルを作成し、ストレージ媒体とクールダウン時間を設定する​

CREATE TABLE example_db.table_hash
(
    k1 BIGINT,
    k2 LARGEINT,
    v1 VARCHAR(2048) REPLACE,
    v2 SMALLINT SUM DEFAULT "10"
)
ENGINE=olap
UNIQUE KEY(k1, k2)
DISTRIBUTED BY HASH (k1, k2)
PROPERTIES(
    "storage_type"="column",
    "storage_medium" = "SSD",
    "storage_cooldown_time" = "2015-06-04 00:00:00"
);

または

CREATE TABLE example_db.table_hash
(
    k1 BIGINT,
    k2 LARGEINT,
    v1 VARCHAR(2048) REPLACE,
    v2 SMALLINT SUM DEFAULT "10"
)
ENGINE=olap
PRIMARY KEY(k1, k2)
DISTRIBUTED BY HASH (k1, k2)
PROPERTIES(
    "storage_type"="column",
    "storage_medium" = "SSD",
    "storage_cooldown_time" = "2015-06-04 00:00:00"
);

レンジパーティション、ハッシュバケット法、列ベースのストレージを使用し、ストレージ媒体とクールダウン時間を設定する重複キーテーブルを作成する​

LESS THAN

CREATE TABLE example_db.table_range
(
    k1 DATE,
    k2 INT,
    k3 SMALLINT,
    v1 VARCHAR(2048),
    v2 DATETIME DEFAULT "2014-02-04 15:36:00"
)
ENGINE=olap
DUPLICATE KEY(k1, k2, k3)
PARTITION BY RANGE (k1)
(
    PARTITION p1 VALUES LESS THAN ("2014-01-01"),
    PARTITION p2 VALUES LESS THAN ("2014-06-01"),
    PARTITION p3 VALUES LESS THAN ("2014-12-01")
)
DISTRIBUTED BY HASH(k2)
PROPERTIES(
    "storage_medium" = "SSD", 
    "storage_cooldown_time" = "2015-06-04 00:00:00"
);

注意:

このステートメントは 3 つのデータパーティションを作成します:

( {    MIN     },   {"2014-01-01"} )
[ {"2014-01-01"},   {"2014-06-01"} )
[ {"2014-06-01"},   {"2014-12-01"} )

これらの範囲外のデータはロードされません。

固定範囲

CREATE TABLE table_range
(
    k1 DATE,
    k2 INT,
    k3 SMALLINT,
    v1 VARCHAR(2048),
    v2 DATETIME DEFAULT "2014-02-04 15:36:00"
)
ENGINE=olap
DUPLICATE KEY(k1, k2, k3)
PARTITION BY RANGE (k1, k2, k3)
(
    PARTITION p1 VALUES [("2014-01-01", "10", "200"), ("2014-01-01", "20", "300")),
    PARTITION p2 VALUES [("2014-06-01", "100", "200"), ("2014-07-01", "100", "300"))
)
DISTRIBUTED BY HASH(k2)
PROPERTIES(
    "storage_medium" = "SSD"
);

MySQL 外部テーブルを作成する​

CREATE EXTERNAL TABLE example_db.table_mysql
(
    k1 DATE,
    k2 INT,
    k3 SMALLINT,
    k4 VARCHAR(2048),
    k5 DATETIME
)
ENGINE=mysql
PROPERTIES
(
    "host" = "127.0.0.1",
    "port" = "8239",
    "user" = "mysql_user",
    "password" = "mysql_passwd",
    "database" = "mysql_db_test",
    "table" = "mysql_table_test"
)

HLL 列を含むテーブルを作成する​

CREATE TABLE example_db.example_table
(
    k1 TINYINT,
    k2 DECIMAL(10, 2) DEFAULT "10.5",
    v1 HLL HLL_UNION,
    v2 HLL HLL_UNION
)
ENGINE=olap
AGGREGATE KEY(k1, k2)
DISTRIBUTED BY HASH(k1)
PROPERTIES ("storage_type"="column");

BITMAP_UNION 集約タイプを含むテーブルを作成する​

v1 および v2 列の元のデータ型は TINYINT、SMALLINT、または INT でなければなりません。

CREATE TABLE example_db.example_table
(
    k1 TINYINT,
    k2 DECIMAL(10, 2) DEFAULT "10.5",
    v1 BITMAP BITMAP_UNION,
    v2 BITMAP BITMAP_UNION
)
ENGINE=olap
AGGREGATE KEY(k1, k2)
DISTRIBUTED BY HASH(k1)
PROPERTIES ("storage_type"="column");

Colocate Join をサポートする 2 つのテーブルを作成する​

CREATE TABLE `t1` 
(
     `id` int(11) COMMENT "",
    `value` varchar(8) COMMENT ""
) 
ENGINE=OLAP
DUPLICATE KEY(`id`)
DISTRIBUTED BY HASH(`id`)
PROPERTIES 
(
    "colocate_with" = "t1"
);

CREATE TABLE `t2` 
(
    `id` int(11) COMMENT "",
    `value` varchar(8) COMMENT ""
) 
ENGINE=OLAP
DUPLICATE KEY(`id`)
DISTRIBUTED BY HASH(`id`)
PROPERTIES 
(
    "colocate_with" = "t1"
);

ビットマップインデックスを持つテーブルを作成する​

CREATE TABLE example_db.table_hash
(
    k1 TINYINT,
    k2 DECIMAL(10, 2) DEFAULT "10.5",
    v1 CHAR(10) REPLACE,
    v2 INT SUM,
    INDEX k1_idx (k1) USING BITMAP COMMENT 'xxxxxx'
)
ENGINE=olap
AGGREGATE KEY(k1, k2)
COMMENT "my first starrocks table"
DISTRIBUTED BY HASH(k1)
PROPERTIES ("storage_type"="column");

動的パーティションテーブルを作成する​

動的パーティション化機能は FE 設定で有効にする必要があります ("dynamic_partition.enable" = "true")。詳細については、Configure dynamic partitions を参照してください。

この例では、次の 3 日間のパーティションを作成し、3 日前に作成されたパーティションを削除します。たとえば、今日が 2020-01-08 の場合、次の名前のパーティションが作成されます: p20200108、p20200109、p20200110、p20200111。それらの範囲は次のとおりです:

[types: [DATE]; keys: [2020-01-08]; ‥types: [DATE]; keys: [2020-01-09]; )
[types: [DATE]; keys: [2020-01-09]; ‥types: [DATE]; keys: [2020-01-10]; )
[types: [DATE]; keys: [2020-01-10]; ‥types: [DATE]; keys: [2020-01-11]; )
[types: [DATE]; keys: [2020-01-11]; ‥types: [DATE]; keys: [2020-01-12]; )
CREATE TABLE example_db.dynamic_partition
(
    k1 DATE,
    k2 INT,
    k3 SMALLINT,
    v1 VARCHAR(2048),
    v2 DATETIME DEFAULT "2014-02-04 15:36:00"
)
ENGINE=olap
DUPLICATE KEY(k1, k2, k3)
PARTITION BY RANGE (k1)
(
    PARTITION p1 VALUES LESS THAN ("2014-01-01"),
    PARTITION p2 VALUES LESS THAN ("2014-06-01"),
    PARTITION p3 VALUES LESS THAN ("2014-12-01")
)
DISTRIBUTED BY HASH(k2)
PROPERTIES(
    "storage_medium" = "SSD",
    "dynamic_partition.enable" = "true",
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.start" = "-3",
    "dynamic_partition.end" = "3",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.buckets" = "10"
);

バッチで複数のパーティションを作成し、整数型の列をパーティション列として指定する​

次の例では、パーティション列 datekey は INT 型です。すべてのパーティションは、単純なパーティションクローズ START ("1") END ("5") EVERY (1) のみで作成されます。すべてのパーティションの範囲は 1 から始まり、5 で終わり、パーティショングラニュラリティは 1 です:

注意

START() および END() のパーティション列の値は引用符で囲む必要がありますが、EVERY() のパーティショングラニュラリティは引用符で囲む必要はありません。

CREATE TABLE site_access (
    datekey INT,
    site_id INT,
    city_code SMALLINT,
    user_name VARCHAR(32),
    pv BIGINT DEFAULT '0'
)
ENGINE=olap
DUPLICATE KEY(datekey, site_id, city_code, user_name)
PARTITION BY RANGE (datekey) (START ("1") END ("5") EVERY (1)
)
DISTRIBUTED BY HASH(site_id)
PROPERTIES ("replication_num" = "3");

Hive 外部テーブルを作成する​

Hive 外部テーブルを作成する前に、Hive リソースとデータベースを作成している必要があります。詳細については、External table を参照してください。

CREATE EXTERNAL TABLE example_db.table_hive
(
    k1 TINYINT,
    k2 VARCHAR(50),
    v INT
)
ENGINE=hive
PROPERTIES
(
    "resource" = "hive0",
    "database" = "hive_db_name",
    "table" = "hive_table_name"
);

主キーテーブルを作成し、ソートキーを指定する​

ユーザーの住所や最終アクティブ時間などの次元からリアルタイムでユーザーの行動を分析する必要があるとします。テーブルを作成する際に、user_id 列を主キーとして定義し、address 列と last_active 列の組み合わせをソートキーとして定義できます。

create table users (
    user_id bigint NOT NULL,
    name string NOT NULL,
    email string NULL,
    address string NULL,
    age tinyint NULL,
    sex tinyint NULL,
    last_active datetime,
    property0 tinyint NOT NULL,
    property1 tinyint NOT NULL,
    property2 tinyint NOT NULL,
    property3 tinyint NOT NULL
) 
PRIMARY KEY (`user_id`)
DISTRIBUTED BY HASH(`user_id`)
ORDER BY(`address`,`last_active`)
PROPERTIES(
    "replication_num" = "3",
    "enable_persistent_index" = "true"
);

パーティション化された一時テーブルを作成する​

CREATE TEMPORARY TABLE example_db.temp_table
(
    k1 DATE,
    k2 INT,
    k3 SMALLINT,
    v1 VARCHAR(2048),
    v2 DATETIME DEFAULT "2014-02-04 15:36:00"
)
ENGINE=olap
DUPLICATE KEY(k1, k2, k3)
PARTITION BY RANGE (k1)
(
    PARTITION p1 VALUES LESS THAN ("2014-01-01"),
    PARTITION p2 VALUES LESS THAN ("2014-06-01"),
    PARTITION p3 VALUES LESS THAN ("2014-12-01")
)
DISTRIBUTED BY HASH(k2);

参考文献​