「Apache Spark」関連の最新 ニュース・レビュー・解説 記事 まとめ

Databricks、“オープン”な汎用LLM「DBRX」リリース　商用利用可
AI企業のDatabricksは“オープンな”汎用LLM「DBRX」をリリースした。サイズは1320億パラメータとMetaのLlama 2のほぼ2倍だが、速度もLlama 2の2倍という。（2024/3/28）

「KubeCon＋CloudNativeCon North America 2023」レポート：
LINEヤフーはDB自動チューニング術を紹介――「KubeCon」で気になった最新のKubernetes×データベース運用ノウハウ
「クラウドネイティブ」という言葉がなじんだ今、市場に登場した新たなデータベースやデータベースを支えるプラットフォームにまつわる情報を紹介していきます。今回は「KubeCon＋CloudNativeCon North America 2023」で気になった内容をお届けします。（2024/3/26）

相互運用性、効率性、パフォーマンスが向上：
OSSのストレージフレームワーク「Delta Lake 3.0」公開　DWHの課題を解決
Linux Foundationはデータレイク上にレイクハウスアーキテクチャを構築できるオープンソースのストレージフレームワークの最新版「Delta Lake 3.0」の一般提供を開始した。（2023/10/24）

コンピュテーショナルストレージへの期待【第2回】
「こんなSSDが欲しかった」に応える注目のコンピュテーショナルストレージ
SSDにデータ処理機能を組み込んだコンピュテーショナルストレージには幾つかの種類があり、さまざまな製品が登場してきている状況だ。注目製品と、コンピュテーショナルストレージの種類を紹介しよう。（2023/10/15）

ビッグデータ基盤から「ビジネスデータのAI分析基盤」に進化したDatabricks――笹 俊文氏に聞く
Databricks日本法人トップに、ビジネスアプリケーションデータを深く理解する人物が就任した。日本企業におけるデータ活用やAI活用のこれからについて話を聞いた。（2023/5/24）

Snowflakeでアプリ開発？　進化を遂げるDWHの最新技術動向
クラウドDWH「Snowflake」は、データドリブン経営などデータ活用のためのプラットフォームとして注目を集めている。新たにアプリ開発ができるようになったSnowflakeは、どのような進化を遂げたのか。（2023/3/13）

もう複雑な仕組みはいらない　Microsoftのデータプラットフォームで何ができる
「Microsoft Intelligent DataPlatform」は何を実現するのか。課題を解決するというが果たして。（2023/2/3）

Go AbekawaのGo Global！〜Aaron Bramson（後）：
今日の気分を“スコアリング”できたらいいのに
グローバルに活躍するエンジニアを紹介する本連載。前回に引き続き、GAテクノロジーズのAaron Bramson（アーロン・ブラムソン）さんにお話を伺う。同氏が語る「サイエンス」と「エンジニアリング」との違いとは。（2023/1/6）

PR：バグかな？――スパコンで計算が38倍高速に　文献分析AIに活用　トヨタG企業に真相を聞く
（2022/12/19）

AWS re:Invent 2022：
AWSのCEOが発表した13の新たなサービス　これさえ読めば全て分かる
AWS re:Inventの2日目には同社のCEO（最高経営責任者）であるアダム・セリプスキー氏が登場し、13の新たなサービスを発表した。本稿は全てを解説する。（2022/11/30）

Rustで始めるWebアプリケーション（終）：
Pythonから利用できるRust製超高速データ分析ライブラリPolarsの実力
RustでWebアプリケーションを開発する際に基礎となる要素技術からRustの応用まで、Rustに関するあれこれを解説する本連載。第3回は、Rust製の高速データ分析ライブラリであるPolarsの速度を簡易的に検証し、考察する。（2022/10/31）

Google Cloud Next '22：
Google Cloud、BigQueryの非構造化データサポートや「Vertex AI Vision」を発表
Google CloudはGoogle Cloud Next '22で、「BigLake」のデータ形式サポートを強化し、「BigQuery」では非構造化データに対応、「Vertex AI」では動画を使った機械学習アプリケーション開発を効率化する「Vertex AI Vision」を発表した。（2022/10/12）

Gartner Insights Pickup（274）：
Hadoopに関する議論、今のテーマは「次は何か」だ
Gartnerには、「ビッグデータ」に関する問い合わせが継続して寄せられているが、「Apache Hadoop」についての問い合わせは多くない。本稿では、Hadoopの現状と今後の動向について考察する。（2022/9/30）

AWSがモダンなデータ分析環境に本腰　主要サービスをサーバレス提供
「ハイパースケーラー」として世界的にも高いシェアを誇るAWSが、モダンデータ分析環境の提供に本気を出す。主要なサービスをサーバレスで提供し、スケーラブルなデータ分析環境をオンデマンドで利用できるようになる見込みだ。（2022/7/20）

Rustの人気やDockerの普及が鮮明に：
最も愛される言語、最も報酬の高い技術が示す開発トレンドの不変と激変、Stack Overflow年次調査
Stack Overflowは2022年の年次ソフトウェア開発者調査の結果を発表した。よく使われている技術や愛されている技術、年収の高い技術、雇用や勤務形態などの最新動向が明らかになった。（2022/6/30）

情シス責任者やデータ基盤責任者の方必見：
PR：データウェアハウスの処理性能向上と大幅なコスト削減、そしてBI+AIのポテンシャルを最大化する次世代データ基盤アーキテクチャ「レイクハウス」の実力
データ経営の重要性の高まりを受け、AI活用を含めてデータの潜在能力を最大限に引き出す必要性が生まれている。だが従来のデータウェアハウスではパフォーマンスが足りないだけでなく、複雑かつ非常に高価で投資に見合った価値を発揮し切れていない。（2022/4/5）

AutoML OSS入門（終）：
最も人気なAutoML OSSは？　注目のAutoMLクラウドサービスも紹介
AutoML OSSを紹介する本連載最終回は連載内で紹介したOSSの比較と、これまでに紹介できなかった幾つかのOSSやAutoMLクラウドサービスを概説します。（2022/3/24）

セキュリティ組織にデータ民主化を――「次世代セキュリティDWH」大解剖（2）：
ETL、BIサービスを組み込むセキュリティログ分析基盤の設計方針、サーバレスとフルマネージドがもたらす効果とは
マーケティング分析で用いられているデータ基盤サービスを活用した、リクルートの「次世代セキュリティDWH」の構築事例を中心に、最新のセキュリティログ基盤の動向を紹介する連載。今回は、どのような思想とこだわりを持ってシステムを設計したのか解説する。（2022/3/8）

PR：未利用だった数千万件の配荷データが“ファンづくり”の主役に　カルビーが実現したデータ活用の舞台裏
（2022/1/27）

データウェアハウスの終わり【後編】
従来型データウェアハウスでは分析できない、次世代ツールの「分析対象」
データウェアハウスもデータレイクも限界が見えた今、各社は「次世代型データウェアハウス」で市場をリードしようとしている。最後に生き残るアーキテクチャとは？（2021/12/16）

AWSがアナリティクスサービス向けの3つのサーバレスオプションを提供開始　あらゆる規模のデータ分析に対応
AWSがアナリティクスサービススイートに向けた3つの新しいサーバレスオプションの提供を開始した。サーバレスサービスのメリットとは何か。（2021/12/8）

Google Cloud Next '21：
Google Cloudがデータ関連で多数の発表、テーマはクラウドや社内データの「サイロ」解消
Google CloudはGoogle Cloud Next '21で、「BigQuery Omni」「Dataplex」「Spark on Google Cloud」「Vertex AI Workbench」「Cloud Spanner」など、データ関連の発表を多数行った。最大のテーマはマルチクラウドや社内に分散するデータの統合利用。（2021/10/18）

Kafka導入事例
「Apache Kafka」で実現したマルチクラウド対応のシステム連携
システム連携の課題は、相手のシステムにどう対応させるかにある。個別対応では開発リソースとコストがかかり過ぎる。OSSの分散イベントストリーミング基盤である「Apache Kafka」がそうした課題を解決する。（2021/10/13）

膨大なデータ処理を変える技術【後編】
「GPUDirect Storage」はストレージのスループット改善にどれだけ効果的なのか？
GPUによるデータ処理を高速化するNVIDIAの「GPUDirect Storage」は、大量のデータを扱う用途で活用が進む可能性がある。その可能性を考える上では、ストレージベンダーの取り組みが鍵になる。（2021/9/7）

日立造船、IoTデータの分析基盤をデータブリックスで刷新　ナレッジ共有も可能に
日立造船は、新たなデータ分析基盤として、データブリックスの「レイクハウスプラットフォーム」を導入。課題だった大規模データの分析、分析ナレッジの共有、機械学習モデルの効率的な運用管理などを実現した。（2021/4/28）

データレイク構築のススメ【後編】
データレイク、オンプレ運用か？　クラウド利用か？
データレイクの構築を決断したとして、オンプレミスで運用するのが適切なのか。クラウドを利用すべきなのか。各社の製品とサービスを紹介する。（2021/4/14）

2021年のDXトレンド予測【後編】
「リアルタイムデータ処理」「MLOps」が2021年のDXに必要な理由
2021年はビジネスそのもののスピードを加速させる技術に注目が集まるだろう。リアルタイムのデータ処理を可能にする技術分野や、機械学習モデル開発の効率化、といったトレンドを探る。（2021/2/24）

「データ＆AIの民主化」の実現へ：
AIユニコーン企業のDatabricksが日本市場に本格参入　マーケターが注目すべきポイントは？
オープンソースソフトウェアとクラウドを軸に統合データ分析プラットフォームを提供するDatabricksが日本法人を設立。マーケターが注目すべきポイントをまとめた。（2020/9/14）

コンテナネットワークの基礎知識【第4回】
Kubernetesだけじゃない「コンテナオーケストレーター」　Mesos、Swarmとは？
「Docker」の普及で利用が広がったコンテナ。その大規模運用の際に威力を発揮するのが「コンテナオーケストレーター」です。「Kubernetes」などの主要なコンテナオーケストレーターを紹介します。（2020/10/14）

移行先はGo、Kotlin、Python：
どのプログラミング言語が使われているのか、JetBrainsが調査レポートを発表
JetBrainsは、開発者エコシステムの現状に関する4回目の年次調査の結果をまとめたレポート「The State of Developer Ecosystem 2020」を発表した。開発者がどのようにビッグデータを分析しているかについても調べた。（2020/7/14）

「機械学習のベストプラクティスを組み込む」：
The Linux Foundation、機械学習向けプラットフォーム「MLflow」をプロジェクトに追加
The Linux Foundationは「MLflow」を新たにLinux Foundationプロジェクトに加えた。MLflowは、Databricksが開発した、特定の機械学習フレームワークや言語に依存しない機械学習向けプラットフォーム。機械学習の開発ライフサイクルを管理する。（2020/6/30）

「全方位は目指さない」：
日本ヒューレット・パッカードが「HPE Container Platform」を発表、統合データ分析基盤構築向けのコンテナソリューション
日本ヒューレット・パッカードは2020年5月14日、Kubernetesによるコンテナ基盤ソフトウェア、「HPE Container Platform」を同日に国内で提供開始したと発表した。企業における統合データ分析基盤として推進するという。（2020/5/14）

自動化機能で機械学習の生産性向上　日本オラクルが「Cloud Data Science Platform」を発表
日本オラクルは、データ分析や機械学習に向けたクラウドサービス「Oracle Cloud Data Science Platform」を発表した。複数のアルゴリズムとハイパーパラメータ構成に対するテストプロセスを自動化するなど、機械学習に向けた自動化機能を備える。（2020/2/21）

データベースのモダナイズ【後編】：
マイクロサービスに最適なNoSQLデータベース、インメモリデータベースの台頭
NoSQLデータベース、インメモリデータベースが成熟し、リレーショナルデータベースの代替たり得る存在となった。さらにマイクロサービス化がこの流れを後押ししている。（2020/1/8）

AWS re:Invent 2019リポート（3）：
AWS re:Invent 2019における、インフラ／データベースに関する大量発表の文脈
Amazon Web Services（AWS）は12月第1週に開催した「AWS re:Invent 2019」で、同社が定義する意味での「値下げ」は発表しなかった。代わりに、インフラ関連では自社開発ハードウェアの活用をはじめ、「あの手この手」でパフォーマンスあるいはコストパフォーマンスを向上させる自社の取り組みをアピールした。（2019/12/18）

セキュリティログ分析基盤活用入門（2）：
セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか
セキュリティ業務における「ログ」と、その分析基盤の活用について解説する連載。今回は、ログ分析基盤の設計ポイントを、アーキテクチャの観点から紹介します。（2019/12/3）

組み込み開発ニュース：
FPGAアクセラレーターソリューションの検証用プラットフォームの無償提供開始
マクニカ アルティマ カンパニーは、「インテル FPGA PAC」を使用したソリューションの導入支援のため、検証用プラットフォーム「FPGA アクセラレーション・ラボ」の無償提供を開始した。（2019/11/18）

モノづくり最前線レポート：
かつて世界一を支えたNECのベクトル演算技術、いま「次世代イノベーション」を担う
同社が東京都内で開催したユーザーイベント「C＆Cユーザーフォーラム＆iEXPO2019」（2019年11月7〜8日）では、最新の「SX-Aurora TSUBASA」アーキテクチャを搭載したベクトルプロセッサなどを展示。また、2019年11月1日からはメモリ帯域を強化した新製品の受注も開始している。（2019/11/11）

PR：これからの時代に求められるデータ分析基盤「ラムダアーキテクチャ」を「Microsoft Azure」で実現するには？
ビッグデータ分析が注目されて久しいが、現代のビジネス界ではITの進歩に伴い、取得できるデータの量や種類が増大している。そのため企業側も、データ分析基盤のアーキテクチャを見直し、膨大なデータの処理に対応しなければならない。日本マイクロソフトはこのほど開催したセミナーで、これからの時代に適したデータ分析基盤の仕組みとして「ラムダアーキテクチャ」を挙げ、自社のクラウドサービス「Microsoft Azure」を使って構築する方法をレクチャーした。（2019/10/28）

ベンチマークで世界記録を更新：
PR：AMDの新サーバCPU「第2世代EPYC」の凄さとは、企業はどこまで生かせるか
AMDの新サーバCPU、「第2世代EPYC（エピック）」が、ユーザーからの熱い注目を集めている。CPU性能、コア密度、I/O性能、価格性能比など、分かりやすいメリットをもたらすからだ。だが、新CPUの恩恵をどこまで享受できるかどうかは、「何に載せるか」に大きく依存するという。具体的にはどういうことなのだろうか。日本AMDの中村正澄氏とDell Technologiesの岡野家和氏に話を聞いた。（2019/10/10）

AIを顧客体験に生かすAGCOの挑戦
農機大手がAWS「Redshift」「SageMaker」で顧客体験向上　導入時の苦労は？
農業機器大手のAGCOは「Amazon Redshift」「Amazon SageMaker」などのAWSサービスを利用して、AIベースの新しいマーケティングツールと顧客向けポータルの開発を進めている。競合がひしめく市場で勝ち残るためだ。（2019/9/4）

Microsoft、データガバナンスのBlueTalon買収　Azure Data Governanceに統合
Microsoftがデータガバナンスツールを手掛ける新興企業BlueTalonを買収した。Azure Data Governanceチームに統合し、データプライバシーとガバナンスを強化していく狙い。（2019/7/30）

GCPの「ビッグデータ分析サービス」10選【前編】
「BigQuery」だけではない　GCPのビッグデータ分析サービスの違いは？
Googleは「Google Cloud Platform」（GCP）のサービスとして、ビッグデータ分析サービスを提供している。主要な10種類のうち、「BigQuery」を含む5種類を紹介する。（2019/7/23）

「SAP HANA」の基礎知識【前編】
いまさら聞けない「SAP HANA」とは何か？　主要機能と利用事例をおさらい
2010年の提供開始以来、「SAP HANA」はさまざまな変化を遂げてきた。その主要な機能と用途を紹介する。（2019/7/10）

Teradata スティーブン・ブロブストCTOインタビュー：
企業を支える「巨大な箱」からクラウドへ　データウェアハウスの最前線を探る
「データ活用」という言葉が定着した裏側で、それを支えるデータウェアハウスの技術や機能は変化し続けている。クラウドからAI、企業による購入モデルの変化まで、データウェアハウスの20年間を知る人物に聞いた。（2019/6/27）

見え隠れするMSの真意
AWSやGoogleとは違う、MicrosoftのAIプラットフォーム戦略
オープンソースソフトウェアも活用し、AIプラットフォームの強化を続けるMicrosoft。バイスプレジデントのガスリー氏は、競合他社とは異なる戦略があると語る。（2019/6/19）

注目サブスクリプションサービスが活用
クラウド機械学習「Databricks」は「反Amazon共同体」の頼れる味方
小売業が「Amazonプライム」に対抗するためのサービスを提供するShopRunnerは機械学習をどう活用しているのか。同社データサイエンス部門トップが語った。（2019/6/13）

BAS：
ビルシステムとAIの連携で最適な空間提供、メルセデスとのコラボ施設「EQ House」で実証
竹中工務店はメルセデス・ベンツとコラボした体験施設「EQ House」で、ビルオートメーションシステムとAIを融合させ、次世代のビル設備管理に向けた実証実験を行う。将来的には、ビル設備や居住者データのビッグデータを解析し、AIによる居住者ごとに最適な照明や空調などを提供することも見込む。（2019/6/10）

OSSのセキュリティリスクをどう低減するか？：
PR：OSS脆弱性情報の収集・管理・適用を、シンプル・確実にする方法
厳しいコスト削減要請やデジタルトランスフォーメーション（DX: Digital transformation）を背景に、オープンソースソフトウェア（OSS: Open Source Software）の活用が拡大している。コストを抑えながら、必要なソフトウェアを自由に利用したり組み合わせたりできる点はOSSの大きな利点だが、脆弱性情報の収集・管理をはじめ、セキュリティリスクにもしっかりと対応しなければ甚大なダメージを被るリスクも隠れている。だが、ただでさえ多忙な業務の中、一体どうすれば多種多様なOSSの脆弱性情報を確実に収集・管理できるのだろうか？　日立製作所（以下、日立） に話を聞いた。（2019/6/5）

既存SQLクエリをテストしてすぐ書き換え可能
動的SQLも漏れなくチェックするDB移行支援ツール「Insight Database Testing」
インサイトテクノロジーが新たに販売開始したデータベース移行支援ツールが「Insight Database Testing」だ。ユーザーは移行先データベースでSQL文を実行した結果を確認し、その場でSQL文の修正とテスト実行ができる。（2019/5/8）