Stable Diffusionのモデル学習、Loraにおけるオプティマイザーの説明。
optimizer_typeは、トレーニング時に使用する最適化アルゴリズムの種類を指定するパラメータです。ここで、optimizer_typeについて簡単に説明します。
AdamW:
AdamWは、一般的なAdam最適化アルゴリズムの亜種で、オーバーフィッティングを防ぐためにウェイト・ディケイ正則化が含まれています。
AdamW8bit:
AdamW8bitは、AdamWの亜種で、8ビット量子化を使用してメモリ使用量を削減し、低精度演算を行うハードウェアでのトレーニングを高速化します。
Lion:
Lionは、ディープニューラルネットワークの学習に適応的な学習率を使用する、勾配ベースのオプティマイザです。Google Brainによって開発され、大規模な分散システムでうまく動作するように設計されています。
SGDNesterov:
Stochastic Gradient Descent with Nesterov momentumは、人気のあるStochastic Gradient Descent最適化アルゴリズムの亜種で、運動量項の勾配に基づく追加項を組み込んでいます。これにより、収束を早め、最適化性能を向上させることができます。
SGDNesterov8bit:
SGDNesterov8bitはSGDNesterovの亜種で、8ビット量子化を使用してメモリ使用量を削減し、低精度演算を行うハードウェアでのトレーニングを加速させます。
DAdaptation:
DAdaptationは勾配ベースのオプティマイザで、学習セット内のデータ分布の変化を考慮し、学習中に学習率を動的に適応させます。
AdaFactor:
AdaFactorは適応型学習率オプティマイザで、因数分解された2次モーメント行列の新しいパラメータ化を用いて、Adamのような従来の2次モーメントアプローチよりも効率的な更新ルールを達成します。
Stable DiffusionのLoraモデルとは？ わかりやすく解説
AIお絵描きのStable Diffusionにおいて、Loraモデルというものがある。
これはある絵を学習させた場合、その絵の特徴のみを保存したモデルだ。
例えばLoraで仮面ライダーv3を学習させた場合、仮面ライダーv3の特徴のみを保存する。
だから1モデルあたりの大きさが200MB程度で済む。
しかし、仮面ライダーv3の特徴しか入っていないモデルなので、出力する時は普通のモデル(Stable Diffusion1.5など)と併用する必要がある。
これは面倒くさく見えるが、絵を描く際に普通のモデルさえあればあらゆる特徴のモデルを臨機応変に追加できるのでとても便利なわけだ。
注意点としては、そもそも崩れた絵ではLoraを適用してもその特徴が出にくいのでpromptをしっかり考える必要がある。もしくは崩れにくいモデル(anythingなど)と併用する必要がある。
Loraは決して崩れた絵を美しくする物ではない。描いた絵を学習させた特徴に方向付ける物なのだ。
例えばこの絵はLoraモデルを適用していない。
そして上記の絵と同じseed、prompt、その他同じ設定で韓国アイドルの特徴を学習させたLoraを適用するとこうなる。
「美しい女性」の出力結果に、Loraを適用する事で「韓国アイドル」という方向性が特徴付けられたわけだ。
という事で、Loraモデルの特徴でした。
子供でもわかる自然言語処、NLPとはなにか？
自然言語処理（NLP）とは、人間が日常的に使う自然言語をコンピュータが理解して処理する技術のことです。
例えば、NLPを使えば、コンピュータが文章を読んで、その中に何が書かれているかを理解することができます。また、音声を聞いて、それを文字に変換したり、翻訳することもできます。
さらに、最近では、人工知能（AI）が人間のように自然な文章を生成することができるようになりました。これを自然言語生成（NLG）と言います。
NLPやNLGは、テキストマイニングや意味解析、翻訳、音声認識など、さまざまな分野で活用されています。また、これらの技術はまだまだ進化し続けています。そのため、人工知能研究の分野でも非常に重要なテーマとされています。
PyTorch vs TensorFlowどっち？ AI、機械学習のフレームワーク問題。
ってことで、AI等機械学習において、PyTorchとTensorFlow（ここではバージョン2を指す）のどちらを積極的に学べばいいのか問題。
趣味ならPyTorch
転職スキルアップならTensorFlow
ってことです。
下記サイトによるGitでどちらのプロジェクトが多いか、という比較ではPyTorchが多いです。
これは多くのエンジニアが「こんな感じの作ってみたよ」と気軽に発表しているからです。
つまりは最新の、発展途上の情報に触れる機会が多いのがPyTorchです。
これは学びの大いなる刺激になるでしょう。
分からない点も気軽に質問できるでしょう。
一方で企業での使用はTensorFlowが多い傾向にあります。
TensorFlowを学ぶことは転職などのスキルアップで役立つことでしょうが、即戦力となるほどの実力を身につけるには努力が必要です。
ただし、一つ言えることはPyTorchもTensorFlowも構成は似ているので、どちらかをそれなりに理解できるようになれば、もう片方も理解できるでしょう。
AIが書いた、iPhone 14はアップグレードする価値があるのか？
新しいiPhone 14へのアップグレードを検討している方のために、この記事では新モデルの機能を旧モデルと総合的に比較しています。また、カメラの性能や、新機能によって仕事の時間が短縮されるかどうかについても説明します。この記事の終わりには、iPhone 14がアップグレードする価値があるかどうかが分かるでしょう。
1.はじめに
先日発売された新しいiPhone 14は、旧モデルにはない新機能をたくさん備えています。この記事では、これらの新機能を紹介し、旧モデルの機能と比較します。また、カメラの性能や、新機能によって仕事の時間が短縮されるかどうかについても解説します。
2.デザイン・新機能・設計
新しいiPhone 14には、旧モデルにはない新機能がたくさん搭載されています。最も顕著な違いは、デザインです。新しいiPhone 14は、よりスマートなデザインになり、持ちやすくなっています。また、携帯電話の側面をタッチすることでロックを解除できるTouch IDという新機能を搭載しています。
新しいiPhone 14は、カメラも強化されています。デュアルカメラシステムを搭載し、よりよい写真を撮ることができます。新しいカメラにはナイトモードという新機能もあり、暗い場所でもより美しい写真を撮ることができます。
新しいiPhone 14には、顔を見るだけでロックを解除できる「Face ID」という新機能も搭載されています。これは、携帯電話を安全に使いたい人にとって、とても便利な機能です。
3.カメラと性能がもたらすもの
新しいiPhone 14には、旧モデルにはない新機能がたくさんあります。最も顕著な違いは、カメラです。新しいiPhone 14は、デュアルカメラシステムを搭載し、より良い写真を撮ることができます。また、暗い場所でもより美しい写真が撮れる「ナイトモード」という新機能も搭載しています。
また、新しいiPhone 14には、顔を見るだけでロックを解除できる「Face ID」という新機能が搭載されています。これは、携帯電話を安全に使いたい人にとって、とても便利な機能です。
4.まとめ
新しいiPhone14には、旧モデルにはない新機能がたくさんあります。最も顕著な違いは、デザインです。新しいiPhone 14は、よりスマートなデザインになり、持ちやすくなっています。また、Touch IDという新機能を搭載し、スマホの側面をタッチすることでロックを解除できるようになりました。
新しいiPhone 14は、カメラも強化されています。デュアルカメラシステムを搭載し、よりよい写真を撮ることができます。新しいカメラにはナイトモードという新機能もあり、暗い場所でもより美しい写真を撮ることができます。
新しいiPhone 14には、顔を見るだけでロックを解除できる「Face ID」という新機能も搭載されています。これは、携帯電話を安全に使いたい人にとって、とても便利な機能です。
って事で、AIが書いたiPhone14の記事でした。とても使えるレベルじゃありません！！
iPad第10世代の仕様が酷すぎるw 絶対に買わない方がいいよこれ
先日発売されたiPad第10世代だが、買うにはあまりにもひどい仕様だ。
エントリーモデルにしては、70,000円と言う高額な値段、その割には搭載されている。チップは、macOS系のM1チップではなく、iOS系のチップだ。
そして何よりもひどいのがApple Pencil第1世代にしか対応していないと言うこと。2015年に発売された第1世代である。
第1世代でも問題ないと思うかもしれないが、iPad第10世代の充電ポートはUSB Cである。
そして、Apple Pencil第2世代が、iPad側面にマグネットで貼り付けて充電するのに対し、Apple Pencil第1世代はiPadのお尻に差し込んで充電する。
そしてApple Pencil第1世代はライトニング端子だ。
つまり、ちぐはぐな状態なのである。
それを解決すべくアップルが同時に発売したのが、USB Cとライトニングの変換アダプター(とてもダサい、いちいち持ち歩くのめんどくさい)である。
どういう状態になるかと言えば、
iPad10→USB Cケーブル→変換アダプター→ Apple Pencil第1世代
となる。
正気かよw
さらに、iPadを買う人は、たいがいiPhoneも持っていると思う。すると、iPhoneを充電する時はライトニングケーブル、iPadを充電する時はUSB Cケーブル、と、なかなかめんどくさい。
こんな妥協の産物、とてもお勧めする気にはならない。
