世界中でのCOVID-19の大流行と成長の安全性とスピードの必要性により、72社は、インテリジェントな組み込みビジュアルセンシング技術をシステムに統合して、人間の検出と非接触の人間とコンピューターの相互作用をサポートするようになっています。 AR / VRは、インテリジェントなマシンビジョンとセンシングテクノロジーを使用して生産レベルの静的出力を向上させながら機能します。Allied Mark et Researchの価値によると、2019年のマシンビジョンおよびセンシングシステムの世界市場は297億米ドルであり、2027年までに749億米ドルに達すると予想されています。2020年から2027年までの複合年間成長率は約11.3%です。
Latticeの低電力モザイクビジョンおよび知覚システムソリューションとして、mVisionは、セクター化されたハードウェアプラットフォーム、IPビルディングブロック、使いやすいFPGAプリセットツール、リファレンスプリセットとエクササイズ、およびカスタマイズされたプリセットサービスネットワークを使用して、カスタマイズされたパフォーマンスと柔軟なインターフェイスを提供します相互接続(MIPI CSI-2、LVDS、PCIe、GigE)、低消費電力(150mW-1W)向けに設計、小型パッケージサイズ(2.5x2.5mm-10x10mm)は、センサー相互接続などのさまざまなプリセットの課題に対応するように最適化されています、ブリッジング、集約、および画像信号処理。
スレッジハンマーテスト
2020年3月にmVision1.0ソリューションが発表され、消費者向けモザイク視覚認識プリセットのプロトタイプシステムを迅速に構築する必要がある人々に、柔軟性が高く小規模なソリューションを提供しました。その中心のユニークな場所は次のとおりです。
ビデオファイルインターフェイスプラットフォーム(VIP)-組み込みの視覚認識アプリケーション用のさまざまなビデオファイルとI / Oインターフェイス(MIPI、LVDS、DisplayPort、HDMI、USBなどをカバー)をサポートするプレートベースのハードウェアR&Dボード。VIP開発ボードは、Lattice Nexusテクノロジープラットフォームに基づくCrossLink、ECP5、およびCrossLink-NXFPGAをサポートします。VIPは、簡単に抜き差しするだけで、入力ボードと出力ボードの相互接続を簡単かつ正常に実現できます.2つの60ピン高速ボード間コネクタを使用して物理的な配線を減らし、プリセットエンジニアが既存の認定ソフトウェアとハードウェアを再利用できるようにしますビルディングブロック。
mvisionソリューション
完全なIPライブラリ-mVisionソリューションは、MIPIおよびLVDSイメージセンサー、ISP、一般的な接続規格(USB、ギガビットイーサネットなど)およびHDMI、DisplayPort、GigEVisionの接続に使用できるあらゆる種類のすぐに利用可能なIPコアを収集します。明らかにされる基準。
FPGAプリセットツール—Lattice Diamond?およびLattice Radiant?2つの使いやすいFPGAプリセットツールを使用できます。これらのツールは、多くの一般的なプリセットによって実行されるタスクを半自動で処理できるため、LatticeFPGAのプログラミングを高速化および簡素化できます。
エンドツーエンドのリファレンスプリセット-システム開発をさらに加速するために、Lattice mVisionは、センサーブリッジング、センサー集約、および画像処理をカバーする、一般的なモザイク視覚認識アプリケーション用の完全なリファレンスプリセットを提供します。
カスタマイズされたプリセットサービス—組み込みの視覚認識システムの市場投入を支援する必要があるお客様のために、Latticeはプリセットサービスパートナーネットワークを確立しました。これは、個別の機能プリセットセクションの開発からワンストップサプライAシリーズまで満足できます。ターンキーソリューションなどの顧客ニーズの
mVision 2.0:消費者から産業へ
1年後の2021年3月、mVision 1.0バージョンに基づいて、LatticeはmVision2.0を発売しました。この計画では、産業および輸送システムで使用される主流の新しいイメージセンサーのサポート、新しい画像信号処理IPコアおよび参照プリセットをカバーするいくつかの重要な更新が追加され、研究開発を担当する人がネットワークエッジインテリジェントをプリセットするのに役立ちますビジョンマテリアルセンサーアプリケーション。このソリューションは、Lattice Propelプリセットバックグラウンドもサポートするようになりました。これにより、組み込みRISC-Vプロセッサを使用したビジュアルセンサーシステムの研究開発を簡素化できます。
Lattice mVision2.0ソリューション
これに加えて、mVision 2.0 ISPピースライブラリ(Drop 1.0)は完全なISPパイプライン機能も備えており、最大150MHzのピクセルクロック(720p120 / 1080p60など)と最大96dB(16ビット)のシーンダイナミックレンジをサポートし、カスタマイズされたISPパフォーマンスとコストのバランスをとるためのソリューションの柔軟な相互接続。短期調整ツールキットは、外部DDRメモリのリアルタイム画像キャプチャ機能を備えており、Lattice SSP登録訪問ツールキットをサポートし、指定されたバックグラウンドのデバッグを実行できます。
Lattice mVision2.0ソリューション
mVision2.0ソリューションで収集された主な更新は次のとおりです。
運輸、産業、医療分野での組み込み視覚認識アプリケーションのサポートの拡大
消費者レベルのモザイク視覚認識ソリューションとは異なり、産業、輸送、医療分野で使用されるモザイク視覚認識ソリューションは、低消費電力、小型サイズ、および非常に厳しいフレームレート精度要件を必要とし、フレーム損失は発生しません。このため、LatticeはmVision 2.0に新しいR&Dボードを追加しました。元のCrossLink、CrossLink-NX、およびECP5に加えて、産業および医療アプリケーションをサポートする主流のイメージセンサーSony IMX464 / IMX568およびONSemiconductorのAR0234CSもカバーしています。 。、研究開発担当者は、I2C、SPI、その他のインターフェースを介してカメラセンサーを配置・操作することができます。
redith propelプリセットバックとrisc-vアーキテクチャに対応
Propelは、低電力、小型のLatticeFPGA上の組み込みプロセッサの研究開発を加速するために使用されるプリセットバックグラウンドです。このツールは、FPGAベースのプロセッサシステムのハードウェアおよびソフトウェアプリセットを作成、分析、コンパイル、および調整できるグラフィックスおよび命令ラインツールの完全なセットをカバーしています。
RISC-Vアーキテクチャのサポートが新たに追加された理由は、主な重要な項目が、RTL言語の代わりにCコードを使用してソリューション全体を展開することが簡単で便利であることが期待されるためです。2つ目はRISCです。 -オープンソースソリューションとしてのV、ほとんどのユーザーのサポートを獲得しています。将来的には、LatticeはRISC-Vソフトコアサポートを他のコンポーネントにレイヤーごとに提供することを計画しています。
新しいラティスイメージシグナルプロセッサ(ISP)リファレンスプリセット
これまで、センサー製品にはISPドライバーが組み込まれていましたが、センサーの複雑化と解像度の向上に伴い、ISPドライバーには提供されなくなったことが多いため、センサーメーカーが幅広いユーザーを対象にドライバーを動員することは困難です。 、およびそれらのほとんどのみ供給センサーはまだ元の値であり、このローカルオフィスは徐々にソリューション開発者に転送されます。Latticeは今回、専用のISPを追加して、顧客向けのmVisionソリューションの選択肢を拡大しました。これにより、ユーザーは製品プリセットに象眼細工の視覚などのアプリケーションを迅速に展開し、利便性を提供できます。
画像信号処理とブリッジングアグリゲーションIPを追加
mVision 2.0に含まれるIPコアは、主に、露光処理、画像信号処理、ブリッジングとアグリゲーション、および相互接続の4つのカテゴリに分類されます。その中でも、画像信号処理、ブリッジング、アグリゲーションIPは新しいプロジェクトであり、ユーザーはこれらのセクションを直接紹介できるため、ゼロの研究開発からプロセスへの投資を削減できます。同時に、これらの利用可能なIPブロックはすべてCrossLink-NXをサポートします。
アプリケーションケースの例
M2Mアプリケーションの産業用露出システムや産業用4.0ソリューションから、先進運転支援システム(ADAS)や車載インフォテインメントシステム、デジタルSLRカメラ、ドローン、ロボット、仮想現実(VR)システム、医療施設まで、カメラの数今日のすべての業界でのアプリケーションは絶えず増加しており、目的の識別、深度認識、衝突回避、意思決定などのよりスマートなアプリケーションも現実のものになりつつあります。
Latticeは、柔軟でインテリジェントな学習の背景を構築し、理想を実現するために、Softnautlcs、LogicFruit、Bitec、TATA、Helion、その他のパートナーと協力して、今日の象眼細工の視覚を満足させる数十の柔軟なソリューションを開発しました。エンジニアは、絶えず変化するインターフェース、低電力の画像信号処理、ハードウェアアクセラレーションなど、事前に設定されています。
高周波基板を使用して、製品の発売プロセスを加速します
LatticeはHelionVisionと協力して、基本(ECO HD-ISP)から高度なハイダイナミックレンジ画像処理(HDR HD-ISP)をサポートする製品まで、一連の画像信号処理製品シリーズをカバーするすべての側面でソリューションを提供します。その中で、HelionVisionのIONOSIPシリーズはIPライブラリを通じて100を超える独立したIPを提供し、プラグアンドプレイ処理ソリューションの実装に成功し、以前にECP3およびECP5アーキテクチャ用に最適化されたことに基づいて、新しいCrossLinkが追加されました。 NXのサポートにより、必要なFPGAリソースと遅延を大幅に削減できます。
川の平面接触線アーキテクチャに基づくmVisionISPリファレンスプリセット
次の図は、Sony IMX464 / IMX568およびONSemiconductorのAR0234CSイメージセンサーをサポートする、四川平面接触線アーキテクチャに基づく完全なLattice mVisionISPリファレンスプリセットを示しています。これは2020年11月の初期の顧客によって使用されます。使用されている最も初期のハードウェアプラットフォームはECP5であり、2021年の第1四半期にCrossLinkをサポートする予定です。計画によると、Latticeの最初のISPリファレンスプリセットは、産業、医療、および輸送アプリケーションに焦点を当てます。Latticeは、医療、産業、航空宇宙、輸送、および消費者アプリケーションに非常に適した多くの一般的なセンサーを提供します。EVDKプレートの種類。
ソニーIMX464VIPセンサー入力基板
新しいSonyIMX464 VIPセンサー入力ボードは、Sony 1 / 1.8 "4MP MIPI NIR拡張ローリングシャッターセンサーボードとEVDKアダプターバリューラインをカバーします。象眼細工の視覚認識開発キット(EVDK)とシームレスに接続され、2688(H )x 1520(V)解像度、4 Mピクセル、最高の90 FPS、HDR、およびその他のパフォーマンスインジケーター、監視、工場の半自動化、産業用カメラアプリケーションに適しています。
左:ISP処理なしの画像、右:ISP処理後のRGB画像
組み込み視覚認識システムのプリセットエンジニアは多くの課題に直面しています。画像信号処理の問題はそのうちの1つに過ぎず、上記の事例の例は多くのアプリケーションの代表にすぎません。イメージセンサーにはさまざまな方法とサイズがあり、ピクセルの粒度、信号対雑音比、光感度、色深度などのパフォーマンスレベルも異なります。さらに、照明とオブジェクトの色の比較などの背景要因により、システムプリセットがさらに複雑になります。これらのことは、画像の前処理をリアルタイムで実行する必要があるため、システムプリセットエンジニアに深刻な問題を引き起こすことがよくあります。製品サイクルの長期化とリスクの高まりの問題を解決するために、画像処理の分野でのラティスの専門的な経験は、上記の課題に対処するのに役立ちます。