データ整備connpass

昨日お話を聞きに行ってきました。ありがとうございました。Twitterは  #前向きデータ整備人 です。

データを整備・抽出・加工したりダッシュボード作ったり

データアーキテクト(データ整備人)を”前向きに”考える会 – connpass

image

OptTechnologiesさんのセッションでBigQueryではtemporary functionやらCTE(Common Table Expression)で変数を前の方で宣言するって話があり、上に写真を貼ったYahooさんのセッションでHive,HiveQLの話がありました。

このブログでも何回か書いてますがHiveでもWITH句(CTE)は使えます。ですがhivevarを使うのが良いと思います。Googleったら以下が先頭に出てきました。

hive (testdb)> select ‘${var01}’;

Hiveのユーザ変数はhiveconfとhivevar、どちらを使うのが良い? – プログラミング小ネタ集

Yahooさんのセッションで出てきたOozie,Airflowなどのワークフロー使ってる場合はHiveに行く前のステップでhivevarを設定する場合が良くあると思います。

最後になりますが先週行ってきた金融データ関連のイベントではデータエンジニアとデータサイエンティストと職種を2つにざっくり分けていて、登壇された会社てのエンジニアの内訳の割合はたしか40:60ぐらいの比だったような。

マーケットデータ分野における新規ビジネス

【好評につき増枠!】フィンテックエンジニア養成勉強会#3(共催:東京証券取引所) – connpass

次回も楽しみです!

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s