TROCCOのdatabricksコネクタにOAuth認証方式が追加されたので試してみた
この記事についてTROCCOでは2024年にDatabricksコネクタをリリースしています。そのために利用する、Databricks接続情報の認証方法として今まではPersonal Access T...
Toru Nishiyama
TROCCOワークフローからdatabricks jobを起動する
この記事はDatabricks Advent calendar 2024の18日目の記事です。https://qiita.com/advent-calendar/2024/databricks はじめ...
年末だしTROCCO APIを活用してTROCCOユーザーの棚卸しをしよう!
はじめにこの記事は TROCCO® Advent Calendar 2024の4日目の記事です。TROCCOでは、お客様のデータ基盤を中長期で運用する際の課題を解決するべく、直近APIの拡充を進めてい...
社内のPdM同士でどういうコミュニケーションしてる? - 中級プロダクトマネージャーの憩い こっこクラブ🐔 活動報告 #23-昼の部
Slackコミュニティ「プロダクト筋トレ」では、日々のプロダクトづくりにもっとワクワクするために様々な活動をおこなっています。https://www.productkintore.org/続きをみる
TROCCOワークフローに履歴管理機能がリリースされました
こんにちは。株式会社primeNumberでプロダクトマネージャーをしています、西山です。直近弊社のプロダクトのTROCCOのアップデートについて紹介させてください。内容としては、ワークフロー機能にお...
FOLIO scramble #4に登壇しました
はじめに続きをみる
データ基盤管理の考え方 〜データカタログ、データレイクの極意〜 Lunch LT 参加レポート
この記事について2023年7月11日にfindyさん主催で実施された、データ基盤管理の考え方 〜データカタログ、データレイクの極意〜 Lunch LTの簡単な参加レポートです。このイベントは、各社のデ...
データエンジニアがバックエンドエンジニアに転生してみた振り返り
この記事はFOLIO Advent Calendar 2022の21日目の記事です。はじめに続きをみる
AWS lambdaを使ってD3.jsで描画したグラフをpng出力する
はじめにこの記事は、FOLIO Advent Calendar 2022の2日目の記事です。直近D3.jsのグラフをpng出力する処理を実装する必要があり、プロジェクト上の制約なども鑑みlambda関...
Hosted RedashにサヨナラしてECS(Fargate)上にRedash(v10)を構築する
はじめにこの記事は、FOLIO Advent Calendar 2021の16日目の記事です。今年、Hosted Redashのサービス終了がアナウンスされました。Hosted Redashを導入され...
FOLIOにおける社内ラジオのご紹介
はじめに続きをみる
データマートを一から作り直した話
この記事についてこの記事「FOLIO Advent Calendar 2020の11日目の記事です直近1年くらい、FOLIOにてデータ分析基盤の開発・整備に従事してきました。いくつか印象に残っているプ...
RDSのスナップショットエクスポート機能をクロスアカウントで使う
こんにちは。paulxllです。これまではqiitaで同じIDで記事を書いていますが、今回はお試しも兼ねてzennを利用してみようと思います。また、この記事はFOLIO Advent calendar...
AWS Redshiftでテーブルとそのカラム、データ型の一覧を抽出するメモ
この記事についてRedshift上に格納している複数のテーブルについて、まとめてドキュメント化する必要があり、こういうの↓がCSVで欲しかったのでそのためのクエリをまとめた。ほぼ参考記事のクエリ…
[Mac]xargsで引数を任意の箇所に埋め込んで実行するメモ
この記事について何回やっても忘れるので。本当にただのメモ書きです。sample codeローカルの特定のディレクトリ配下にあるファイルすべてをS3に上げるサンプルスニペット。find -f …
RedshiftでGRANTする時に地味なハマり方したときのメモ
前提Redshiftで、あるスキーマテーブルを特定のユーザにSELECT権限を付与したかったが、なかなか上手く進まずハマったのでメモ。TL;DRRedshiftでGRANTするときには、SEL…
Datadogでdockerコンテナを監視を始めたときのメモ
この記事についてAWSのEC2(なお、OSはAmazon Linux2)上に配置しているairflowのログ収集をdatadogに任せたく、チュートリアルに従って設定を行ったら本当に一瞬で終わって…