Classical Numismatics Discussion
  Welcome Guest. Please login or register. 10% Off Store-Wide Sale Until 2 April!!! Explore Our Website And Find Joy In The History, Numismatics, Art, Mythology, And Geography Of Coins!!! Expert Authentication - Accurate Descriptions - Reasonable Prices - Coins From Under $10 To Museum Quality Rarities Welcome Guest. Please login or register. 10% Off Store-Wide Sale Until 2 April!!! Explore Our Website And Find Joy In The History, Numismatics, Art, Mythology, And Geography Of Coins!!! Support Our Efforts To Serve The Classical Numismatics Community - Shop At Forum Ancient Coins

New & Reduced


Author Topic: Monety do strony NOT IN RIC  (Read 27499 times)

0 Members and 1 Guest are viewing this topic.

Offline Lech Stępniewski

  • IMPERATOR
  • Caesar
  • *****
  • Posts: 2900
    • NOT IN RIC
Re: Monety do strony NOT IN RIC
« Reply #300 on: May 11, 2022, 01:49:03 pm »
Żeby nie musiał Pan jeszcze raz puszczać (idzie ~45 minut) załączam wyjściowy plik, trzeba zmienić rozszerzenie na .xml

Bardzo dziękuję, ale gdybym się na to rozwiązanie zdecydował, to i tak musiałbym po każdej aktualizacji strony (czyli co najmniej ze dwa razy w miesiącu) generować nową wersję.

Na razie doczytałem, że taka mapa jest szczególnie zalecana przy witrynach > 500 stron, czyli takich jak moja, czyli może to pomoże.
Lech Stępniewski
NOT IN RIC
Poland

Offline DzikiZdeb

  • Caesar
  • ****
  • Posts: 1975
Re: Monety do strony NOT IN RIC
« Reply #301 on: May 11, 2022, 02:08:11 pm »
gdybym się na to rozwiązanie zdecydował, to i tak musiałbym po każdej aktualizacji strony (czyli co najmniej ze dwa razy w miesiącu) generować nową wersję.
Zależy jak duże zmiany będą między wersjami. Jeśli tylko kilka/kilkanaście nowych pozycji, to można je dopisać ręcznie na końcu pliku (przed </urlset>) - dla każdego po takim fragmencie:

<url>
   <loc>https://www.forumancientcoins.com/notinric/7rom_ii_1.html</loc>
   <lastmod>2021-07-09T09:35:33+00:00</lastmod>
   <changefreq>monthly</changefreq>
   <priority>0.6400</priority>
</url>

loc - to wiadomo, dokładny link
lastmod - powinna być data ostatniej modyfikacji pliku, chyba nie jest to w żaden sposób weryfikowane, można wpisać coś w rodzaju daty bieżącej przy wgrywaniu i też powinno być
changefreq - nawet nie doczytywałem, co tu innego można wpisać
priority - powinno zostać 0.64, oznacza to że strona znajduje się w odległości dwóch linków od strony głównej (1*0.8*0.8, główna strona to 1, główne podstrony 1*0.8 ).

Offline Lech Stępniewski

  • IMPERATOR
  • Caesar
  • *****
  • Posts: 2900
    • NOT IN RIC
Re: Monety do strony NOT IN RIC
« Reply #302 on: May 11, 2022, 02:52:08 pm »
to można je dopisać ręcznie

Można - ale to mordęga. Bo musiałbym pamiętać i o tym, co wpisuję/poprawiam przy aktualizacji i o tym, żeby równolegle dopisywać/aktualizować datę odpowiedniego pliku. Jak znam życie, przy takiej wielozadaniowości coś by się zaraz poplątało. Już lepiej skupić się na stronie, a potem niech się samo generuje choćby godzinę.
Lech Stępniewski
NOT IN RIC
Poland

Offline DzikiZdeb

  • Caesar
  • ****
  • Posts: 1975
Re: Monety do strony NOT IN RIC
« Reply #303 on: May 12, 2022, 04:47:01 am »
Kolega sprawdzał na smartfonie i jest to samo, co dostaję na komputerze, czyli:

DEA 0 wyników wczoraj 0 dzisiaj
chi-rho 40 -> 14
Arles 119 -> 229

czyli coś się zmieniło, ale niekoniecznie wszędzie na lepsze.

Z tego co widzę nie wgrał Pan wczorajszego pliku - powinien być dostępny pod adresem: https://www.forumancientcoins.com/notinric/sitemap.xml

Doczytałem jeszcze, że samo wgranie może jeszcze niewiele dać, trzeba go googlowi pokazać, albo za pomocą Google Search Console, albo dostawiając do głównego folderu jeszcze jeden plik robots.txt, w którym będzie jedna linijka:

Sitemap: https://www.forumancientcoins.com/notinric/sitemap.xml

Więcej o wskazywaniu tego pliku napisali tutaj: https://octamedia.pl/blog/mapa-strony-xml/

Offline Lech Stępniewski

  • IMPERATOR
  • Caesar
  • *****
  • Posts: 2900
    • NOT IN RIC
Re: Monety do strony NOT IN RIC
« Reply #304 on: May 12, 2022, 06:37:57 am »
Z tego co widzę nie wgrał Pan wczorajszego pliku - powinien być dostępny pod adresem: https://www.forumancientcoins.com/notinric/sitemap.xml

Wgrałem, ale po namyśle skasowałem i wygenerowałem nowy dla domeny http://www.notinric.lechstepniewski.info. Uznałem bowiem, że nie będę przeprowadzał tych eksperymentów w cudzej domenie. Tam są pewnie jakieś globalne ustawienia dla Google, więc mógłbym niechcący narozrabiać

Teraz dodam jeszcze te roboty.
Lech Stępniewski
NOT IN RIC
Poland

Offline DzikiZdeb

  • Caesar
  • ****
  • Posts: 1975
Re: Monety do strony NOT IN RIC
« Reply #305 on: May 13, 2022, 01:52:56 am »
nie będę przeprowadzał tych eksperymentów w cudzej domenie. Tam są pewnie jakieś globalne ustawienia dla Google, więc mógłbym niechcący narozrabiać
W sumie racja. Natomiast może Pan podpytać forumowego informatyka czy nie ma jakiegoś pomysłu na lepsze poindeksowanie przez google Pana bazy. Miałem gdzieś namiar, ale nie mogę go w tym momencie znaleźć.

Teraz dodam jeszcze te roboty.
Robił Pan coś jeszcze? Pliku http://www.notinric.lechstepniewski.info/robots.txt nie widzę, a wyniki są zbliżone do wczorajszych. Oczywiście nawet jak google zobaczy sitemap.xml., to nie musi indeksować plików od razu i niekoniecznie wszystkie. Obawiam się, że to może być niespecjalnie lotna sieć neuronowa, dla której opisy monet są zbyt zbliżone do siebie i zawsze będzie traktować je wybiórczo.

Offline Lech Stępniewski

  • IMPERATOR
  • Caesar
  • *****
  • Posts: 2900
    • NOT IN RIC
Re: Monety do strony NOT IN RIC
« Reply #306 on: May 13, 2022, 10:33:32 am »
Robił Pan coś jeszcze? Pliku http://www.notinric.lechstepniewski.info/robots.txt nie widzę, a wyniki są zbliżone do wczorajszych.

Postanowiłem najpierw ręcznie (poprzez Konsolę Google) poprosić o ponowne zindeksowanie czterech podstawowych stron, które odsyłają do reszty stron. Trochę to jednak potrwa. Pzy okazji wyszło, że moje strona nie jest dostosowane do urządzeń mobilnych (pewnie dlatego, że coś tam jest ustawione na sztywno), a zdaje się, że Google stawia właśnie na mobilność.

Naturalnie byłbym wdzięczny, gdyby ktoś mi przynajmniej te cztery strony umobilnił (ale przejrzyście, tak, bym nie miał problemów z edycją, dodawaniem nowych odnośników etc.). Ale jeśli już przerabiać, to chyba lepiej na bazę z własną wyszukiwarką, bez zdawania się na łaskę Google.

A teraz jeszcze dodaję jako drugą wyszukiwarkę freefind, z którego kiedyś korzystałem. Może okaże się lepszy.
Lech Stępniewski
NOT IN RIC
Poland

Offline Lech Stępniewski

  • IMPERATOR
  • Caesar
  • *****
  • Posts: 2900
    • NOT IN RIC
Re: Monety do strony NOT IN RIC
« Reply #307 on: May 13, 2022, 11:53:56 am »
No i jakby jest lepiej. FreeFind DEA wyszukuje. Niech Pan jeszcze posprawdza coś, co Panu przyjdzie do głowy.
Lech Stępniewski
NOT IN RIC
Poland

Offline DzikiZdeb

  • Caesar
  • ****
  • Posts: 1975
Re: Monety do strony NOT IN RIC
« Reply #308 on: May 14, 2022, 01:40:11 pm »
Naturalnie byłbym wdzięczny, gdyby ktoś mi przynajmniej te cztery strony umobilnił (ale przejrzyście, tak, bym nie miał problemów z edycją, dodawaniem nowych odnośników etc.). Ale jeśli już przerabiać, to chyba lepiej na bazę z własną wyszukiwarką, bez zdawania się na łaskę Google.
Wydaje mi się, że to nie jest jakiś duży problem, można też umobilnić podstawowe strony z monetami, tylko podmiana kodu może być kłopotliwa, jeśli wymiary tabelki są różne w różnych plikach. Pytanie, czy jest chce Pan nadal być lepiej indeksowany w google, skoro druga wyszukiwarka działa o niebo lepiej?

A teraz jeszcze dodaję jako drugą wyszukiwarkę freefind, z którego kiedyś korzystałem. Może okaże się lepszy.
DEA - 1
chi-rho - 37
Arles - 533

Rewelacja - ja bym ukrył ten pasek googlowy, bo tych wyników może nigdy nie osiągnąć. Pytanie tylko, jakie drugi pasek podaje wszystkie odpowiedzi? Innymi słowy - ile jest plików zawierających powyższe frazy?

Offline Lech Stępniewski

  • IMPERATOR
  • Caesar
  • *****
  • Posts: 2900
    • NOT IN RIC
Re: Monety do strony NOT IN RIC
« Reply #309 on: May 14, 2022, 02:27:19 pm »
Pytanie, czy jest chce Pan nadal być lepiej indeksowany w google, skoro druga wyszukiwarka działa o niebo lepiej?

Chyba rzeczywiście zrezygnuję z Google. Wprawdzie FreeFInd jest darmowy tylko do 64 MB (tekstu!), ale u mnie pliczki *.html mają bardzo oszczędny kod i tekstu stosunkowo niewiele, więc do limitu mi jeszcze sporo brakuje. W praktyce te 64 MB w moim HTML-u nienaćpanym skryptami etc. to przynajmniej kilka-kilkanaście tysięcy stron znormalizowanego maszynopisu

Rewelacja - ja bym ukrył ten pasek googlowy, bo tych wyników może nigdy nie osiągnąć. Pytanie tylko, jakie drugi pasek podaje wszystkie odpowiedzi? Innymi słowy - ile jest plików zawierających powyższe frazy?

No to ukrywam. Dla tych trzech wyszukiwań odpowiedzi FreeFinda pokrywają się DOKŁADNIE z tym, co mi pokazuje przeszukiwanie na dysku. Bardzo dziękuję za pomoc.
Lech Stępniewski
NOT IN RIC
Poland

Offline DzikiZdeb

  • Caesar
  • ****
  • Posts: 1975
Re: Monety do strony NOT IN RIC
« Reply #310 on: May 16, 2022, 01:40:25 am »
Wprawdzie FreeFInd jest darmowy tylko do 64 MB (tekstu!), ale u mnie pliczki *.html mają bardzo oszczędny kod i tekstu stosunkowo niewiele, więc do limitu mi jeszcze sporo brakuje.
W razie czego można wstawić dwa paski wyszukiwania dla dwóch podstron (mam nadzieję, że jest taka możliwość) itp. Gorzej by było, gdyby rozwiązanie zostało porzucone, jak to już bywało wielokrotnie z różnymi przydatnymi rzeczami w internecie. Z tego co widzę póki co mu to nie grozi, a skoro ktoś to wymyślił jeszcze w latach 90, to znaczy że jest napisane dość optymalnie i bez współczesnych udziwnień.

Offline Lech Stępniewski

  • IMPERATOR
  • Caesar
  • *****
  • Posts: 2900
    • NOT IN RIC
Już 5901 odmian czyli kolejna setka i kilka refleksji
« Reply #311 on: June 05, 2022, 07:07:18 am »
Przy ostatniej aktualizacji okazało się, że kolejna setka już za mną i szósty tysiąc coraz wyraźniej rysuje się na horyzoncie. To pozytywne.

Z drugiej strony, moja robota już od dłuższego czasu jest coraz mniej efektywna i coraz częściej polega na podmienianiu zdjęć tych samych monet  na lepsze (nie tych samych typów, ale dokładnie tych samych egzemplarzy!). Na samym początku (kto to jeszcze pamięta?) zdjęcia na "Not in RIC" miały standardowo szerokość 400 pikseli, potem podniosłem to do 500, a potem dodałem powiększenie, to znaczy zdjęcie w najlepszej, jaką miałem, rozdzielczości. Dziś jest to już zazwyczaj HD, czyli ~2000 pikseli.

Ponadto coraz częściej odczuwam pewne zmęczenie, bo jednak przeglądanie setek tysięcy zdjęć to robota w dużej mierze mechaniczna, a wzrok już nie ten. Poza tym im więcej się wie, tym trudniej o świeżość spojrzenia i tym więcej ma się złych nawyków przy oglądaniu. Owszem, sporo monet podesłali mi moi korespondenci, ale jeśli nawet przyjąć, że tylko 2/3 znalazłem sam i że aby znaleźć nową odmianę musiałem przejrzeć tylko 100 zdjęć, to znaczy, że tych zdjęć przejrzałem prawie pół miliona. A w rzeczywistości pewnie dużo dużo więcej niż milion. Stąd zmęczenie.

Tym bardziej, że nadchodzi kres tego chałupnictwa. A to w związku z tak zwaną sztuczną inteligencją (AI) i coraz doskonalszym rozpoznawaniem obrazu. Pisałem już o tym kiedyś w związku z chińskimi systemami do rozpoznawania twarzy, a teraz przypomniał mi o tym niedawno ten popularny artykulik:

https://dzienniknaukowy.pl/nowe-technologie/sztuczna-inteligencja-identyfikuje-rase-na-podstawie-zdjec-rentgenowskich-naukowcy-nie-wiedza-w-jaki-sposob

Okazuje się, że AI nakarmiona setkami tysięcy zdjęć rentgenowskich wraz z dodatkowymi danymi, potrafi w wypadku nowych zdjęć podać z dużą dokładnością rasę pacjenta. Naukowcy zaś nie wiedzą, jak ona to robi i na wszelki wypadek wymyślają idiotyzmy, jakoby w używanych algorytmach mogły być zaszyte jakieś rasowe czy seksistowskie uprzedzenia programistów. Rzecz jasna nieświadome, bo gdyby były świadome, to by można było zapytać, jakie "rasowe cechy" program uwzględnia etc. A tu okazuje się, że on "widzi" pewne wzorce, których nikt nie widzi - nawet najlepsi lekarze.

Oczywiście ta "sztuczna inteligencja" tak naprawdę nie jest inteligencją w większym stopniu niż lupa czy mikroskop, dzięki którym też można zauważyć wiele rzeczy przedtem nie widzianych i też nie można ich zapytać o to, jak one to robią, tylko trzeba samemu odkrywać prawa optyki. Niemniej te nowe rzeczy jednak widać - i to jest najważniejsze.

Gdyby teraz przenieść tę metodę na teren numizmatyki antycznej i nakarmić AI milionami zdjęć monet, być może też zobaczyłoby się rzeczy, których dotąd nikt nie dostrzegł ani nawet nie szukał. Natomiast na pewno zobaczono by więcej tych rzeczy, których wprawdzie szukano (jak na przykład szukam ja), ale z nieporównywalnie większą efektywnością niż jest to w stanie zrobić człowiek. To samo dotyczy pożytecznej ale bardzo mozolnej procedury ustalania "die links", czyli powiązań między stemplami, co częstokroć pozwala rozstrzygnąć chronologię emisji, wykryć fałszerstwa etc.

W końcu wszystko bowiem zmierza w kierunku zastąpienia tradycyjnych katalogów elektronicznymi bazami danych, w których monety będą ewidencjonowane z dokładnością do stempla, nie zaś jakichś tam konwencjonalnych odmian, typów czy emisji. Dziś byłaby to robota benedyktyńska, ale w ciągu pokolenia (czyli w ciągu najbliższych 20-25 lat) AI powinna umieć robić takie rzeczy błyskawicznie (o ile tylko jacyś programiści wspomagani przez numizmatyków dostaną odpowiedni grant). "Not in RIC" będzie miał wtedy sam już wartość jedynie muzealną...
Lech Stępniewski
NOT IN RIC
Poland

Offline DzikiZdeb

  • Caesar
  • ****
  • Posts: 1975
Re: Już 5901 odmian czyli kolejna setka i kilka refleksji
« Reply #312 on: June 06, 2022, 02:12:28 am »
Gdyby teraz przenieść tę metodę na teren numizmatyki antycznej i nakarmić AI milionami zdjęć monet, być może też zobaczyłoby się rzeczy, których dotąd nikt nie dostrzegł ani nawet nie szukał. Natomiast na pewno zobaczono by więcej tych rzeczy, których wprawdzie szukano (jak na przykład szukam ja), ale z nieporównywalnie większą efektywnością niż jest to w stanie zrobić człowiek.

Cytując artykuł "W przypadku niektórych grup system osiągnął skuteczność na poziomie 90 proc."... Załóżmy taką numizmatyczną sieć neuronową, która w przypadku mennicy rzymskiej rozpoznaje 90% monet, ale w przypadku Aleksandrii już tylko 67%. Jako ciekawostka interesujące, ale do praktycznego użytkowania trochę mało. Poza tym tutaj jest akurat przypadek, który został uznany za udany i wart opisania w prasie fachowej. Pytanie, ile na jeden przypadek takiej sieci przypada projektów, z których nic ciekawego nie wyszło i lepiej się nimi nie chwalić? 

A poza tym te miliony zdjęć musiałyby być w jakiś sposób ustandaryzowane i odpowiednio dobrze wykonane - czy koordynacja takich prac nie jest trudniejsza od skonstruowania samego AI?

w ciągu pokolenia (czyli w ciągu najbliższych 20-25 lat) AI powinna umieć robić takie rzeczy błyskawicznie (o ile tylko jacyś programiści wspomagani przez numizmatyków dostaną odpowiedni grant). "Not in RIC" będzie miał wtedy sam już wartość jedynie muzealną...
Mogę mieć nadzieję, że coś takiego powstanie, ale doświadczenie zawodowe podpowiada mi co innego... Kolejne roczniki młodych programistów są przyzwyczajane do robienia religii z takiej czy innej technologii lub sposobu zarządzania, coraz mniej tam ludzi swobodnie myślących, a takich potrzeba do tego zagadnienia. Obawiam się, że skutek takiego grantu mógłby być co najwyżej poprawny, a nie przełomowy.

Offline Lech Stępniewski

  • IMPERATOR
  • Caesar
  • *****
  • Posts: 2900
    • NOT IN RIC
Re: Już 5901 odmian czyli kolejna setka i kilka refleksji
« Reply #313 on: June 06, 2022, 06:35:15 am »
Cytując artykuł "W przypadku niektórych grup system osiągnął skuteczność na poziomie 90 proc."... Załóżmy taką numizmatyczną sieć neuronową, która w przypadku mennicy rzymskiej rozpoznaje 90% monet, ale w przypadku Aleksandrii już tylko 67%. Jako ciekawostka interesujące, ale do praktycznego użytkowania trochę mało.

No wie Pan! Myślę, że jednak natura i jej rozliczne kombinacje i dziwaczne odstępstwa na obszarze 1000 centymetrów kwadratowych (tyle pewnie ma przeciętny rentgen), to jednak wyzwanie na innym poziomie niż kupa przedmiocików wyprodukowanych przez człowieka wedle pewnego wzorca i mających po jakieś 5-10 centymetrów kwadratowych (a często mniej).

A poza tym te miliony zdjęć musiałyby być w jakiś sposób ustandaryzowane i odpowiednio dobrze wykonane - czy koordynacja takich prac nie jest trudniejsza od skonstruowania samego AI?

Już dziś małe darmowe programiki operujące na zwykłych aukcyjnych zdjęciach z zadziwiającą trafnością potrafią wyłowić zdublowane zdjęcia tej samej monety (chodzi oczywiście o dwa różne zdjęcia, nie zaś dwie kopie tego samego zdjęcia). Poza tym skoro AI potrafi odróżniać miliard Chińczyków z zadowalającą w praktyce dokładnością, to czemu nie miałaby rozróżnić (a potem porównać) miliarda monet? Problem wydaje mi się wyłącznie w zdobyciu finansowania na taką fanaberię. Nadzieję zaś czerpię z przekonania, że nie trzeba będzie tego robić od podstaw, bo stosunkowo tanio da się zaadaptować to, co wytworzy się do kontrolowania społeczeństwa czy zastosowań militarnych (automatycznego rozpoznawania celów etc.). Mniej więcej tak, jak wypączkował sam Internet.

Kolejne roczniki młodych programistów są przyzwyczajane do robienia religii z takiej czy innej technologii lub sposobu zarządzania, coraz mniej tam ludzi swobodnie myślących

Myślę, że jest to zadanie w sumie tak proste, że nie potrzeba do jego rozwiązania (a właściwie - zastosowania w nowej dziedzinie) jakiejś szczególnej lotności. Systemy elektronicznego nadzoru czy wyszukiwania celów wymagające coraz doskonalszych podsystemów rozpoznawania obrazu powstaną (już powstają!) na pewno: to władza państwowa z programistów wyciśnie i to nie licząc się z groszem. Adaptacja nawet mniej zaawansowanej wersji (bo te szczytowe pewnie będą utajnione) powinna być prosta i tania. A te 20-25 lat stąd, bo wydaje mi się, że jesteśmy w tej kwestii obecnie co najmniej na tym poziomie, na jakim Internet był gdzieś koło roku 1975, by w roku 2000 być już czymś tanim i masowym
Lech Stępniewski
NOT IN RIC
Poland

Offline DzikiZdeb

  • Caesar
  • ****
  • Posts: 1975
Re: Już 5901 odmian czyli kolejna setka i kilka refleksji
« Reply #314 on: June 07, 2022, 08:12:17 am »
Cytując artykuł "W przypadku niektórych grup system osiągnął skuteczność na poziomie 90 proc."... Załóżmy taką numizmatyczną sieć neuronową, która w przypadku mennicy rzymskiej rozpoznaje 90% monet, ale w przypadku Aleksandrii już tylko 67%. Jako ciekawostka interesujące, ale do praktycznego użytkowania trochę mało.

No wie Pan! Myślę, że jednak natura i jej rozliczne kombinacje i dziwaczne odstępstwa na obszarze 1000 centymetrów kwadratowych (tyle pewnie ma przeciętny rentgen), to jednak wyzwanie na innym poziomie niż kupa przedmiocików wyprodukowanych przez człowieka wedle pewnego wzorca i mających po jakieś 5-10 centymetrów kwadratowych (a często mniej).

Z drugiej strony większa powierzchnia daje większe możliwości interpretacji, kombinacji na korelacjach kształtów, które człowiekowi mogą nie przyjść do głowy. A na monecie będziemy oczekiwać przede wszystkim odczytania wszystkich ludzkich treści; tymczasem AI może skupić się na czym innym (dajmy na to, że w ogóle się na czymś sensownym skupi) - zacznie wykrywać wewnętrzną korozję albo doskonale wskazywać domieszki ołowiu w podziale na izotopy, a literki będzie pomijać.

A poza tym te miliony zdjęć musiałyby być w jakiś sposób ustandaryzowane i odpowiednio dobrze wykonane - czy koordynacja takich prac nie jest trudniejsza od skonstruowania samego AI?

skoro AI potrafi odróżniać miliard Chińczyków z zadowalającą w praktyce dokładnością, to czemu nie miałaby rozróżnić (a potem porównać) miliarda monet? Problem wydaje mi się wyłącznie w zdobyciu finansowania na taką fanaberię. Nadzieję zaś czerpię z przekonania, że nie trzeba będzie tego robić od podstaw, bo stosunkowo tanio da się zaadaptować to, co wytworzy się do kontrolowania społeczeństwa czy zastosowań militarnych (automatycznego rozpoznawania celów etc.). Mniej więcej tak, jak wypączkował sam Internet.

Z chińskim systemem się nie zetknąłem (i nie mam najmniejszej ochoty), więc nie mam pojęcia jaka jest jego rzeczywista wydajność. Artykuły go opisujące bazują przeważnie na ogólnikach i taniej sensacji, a mnie interesowałyby twarde dane - w tłumie 74 499 Chińczyków było 2409 osób zameldowanych w Szanghaju, z czego system monitoringu wyłapał 2342. Albo 234. I tak x 1000 badań. Wiem, że jestem uprzedzony, a AI wystawione do testowania w sieci nie są specjalnie zaawansowane, ale testu Turinga o ile kojarzę żaden z nich nie przeszedł; to, z czym można porozmawiać przez telefon (np. w Telekomunikacji) też bystrością nie grzeszy. Pewnie wykazuję się tu sporą ignorancją i dało by się znaleźć dużo bardziej zaawansowane przykłady, co do których są upublicznione konkretne wyniki; broni mnie tylko doświadczenie zawodowe - zetknąłem się w życiu co najmniej z kilkoma pomysłami wykorzystania sieci neuronowych, na które były i pieniądze i czas, nie było za to efektów albo były one bardzo przeciętne.

Offline Lech Stępniewski

  • IMPERATOR
  • Caesar
  • *****
  • Posts: 2900
    • NOT IN RIC
Re: Już 5901 odmian czyli kolejna setka i kilka refleksji
« Reply #315 on: June 13, 2022, 09:21:37 am »
tymczasem AI może skupić się na czym innym (dajmy na to, że w ogóle się na czymś sensownym skupi) - zacznie wykrywać wewnętrzną korozję albo doskonale wskazywać domieszki ołowiu w podziale na izotopy, a literki będzie pomijać.

To chyba zależy w pierwszym rzędzie od tego, czym się ją nakarmi. W wypadku rentgenów AI dostała "rasistowskie" informacje, że to rentgen Białego a to Murzyna etc. i potem zaczęła kombinować. Jeśli nie będzie wiedziała nic o izotopach, to ich nie wymyśli, bo aż taka inteligentna nie jest (tj. w ogóle nie jest)

mnie interesowałyby twarde dane

Do twardych danych naprawdę ciekawych systemów i tak nie będziemy mieć dojścia. Jeśli idzie o Chiny, wydaje mi się, ze to jednak nie jest tylko taki "psychologiczny straszak". Poza tym jednak rozpoznawanie twarzy w poruszającym się tłumie to całkiem inne zadanie niż analiza standaryzowanych zdjęć. Coś co w wypadku poruszających się i zmieniających kąt twarzy miałoby ledwie 50% skuteczności (czyli kiepsko), mogłoby pewnie nieruchome fotografowane na wprost niezbyt skomplikowane obiekciki rozpoznawać ze skutecznością 99,9%.

Kilka razy już miałem taką sytuację, że prosty darmowy programik, żadna tam sieć neuronowa, rozpoznał, że mam w archiwum dwa różne zdjęcia tej samej monety, a nie było tego widać "na pierwszy rzut oka". Czyli jednak umiał coś niebanalnego.
Lech Stępniewski
NOT IN RIC
Poland

Offline DzikiZdeb

  • Caesar
  • ****
  • Posts: 1975
Re: Już 5901 odmian czyli kolejna setka i kilka refleksji
« Reply #316 on: June 20, 2022, 03:34:23 am »
To chyba zależy w pierwszym rzędzie od tego, czym się ją nakarmi. W wypadku rentgenów AI dostała "rasistowskie" informacje, że to rentgen Białego a to Murzyna etc. i potem zaczęła kombinować. Jeśli nie będzie wiedziała nic o izotopach, to ich nie wymyśli, bo aż taka inteligentna nie jest (tj. w ogóle nie jest)

Czym, w jakiej kolejności... Jakieś dziesięć lat temu google wyłożyło wielocyfrową kwotę na system rozpoznawania obrazu, który miał opisywać indeksowane przez wyszukiwarkę zdjęcia. Na pierwszy rzut zaczęli go karmić zwierzątkami i tak się ustrojstwo zafiksowało na tych zwierzątkach, że praktycznie nie dało się go już zmusić do niczego innego. Wszędzie widziało zwierzątka, a w szczególności sznaucery* (pewnie były ładowane jako pierwsze). W efekcie pomysł poszedł do kosza, a dziwaczne działanie systemu zostało udostępnione osobno jako generator surrealistycznych grafik dla leniwych artystów - przykładowy efekt w załączniku, sznaucerów u Breugla wykrył jak widać co najmniej trzy.

* o ile to sznaucery a nie inna rasa, nie znam się aż tak na psach.

Offline Lech Stępniewski

  • IMPERATOR
  • Caesar
  • *****
  • Posts: 2900
    • NOT IN RIC
Re: Już 5901 odmian czyli kolejna setka i kilka refleksji
« Reply #317 on: June 20, 2022, 05:50:25 am »
na system rozpoznawania obrazu, który miał opisywać indeksowane przez wyszukiwarkę zdjęcia.

"Powiedz, co jest na dowolnym obrazie" to już najwyższa szkoła jazdy. Natomiast jak się zawęzi zadanie (a nasze metalowe kółeczka to jednak stosunkowo wąski typ przedmiocików), rezultaty natychmiast będą o niebo lepsze. Niech Pan pamięta, że nie wymagamy od AI, by zaraz koniecznie wykonywała automatyczny opis monety, tj. tu idzie Mars, trzyma to czy tamto etc. Wystarczy, że zauważy, że ta "forma" na 100 monetach jest podobna, a na jednej jakaś inna i tę inność już potem człowiek opisze - że np. Mars idzie w drugą stronę, nie ma tarczy, ciągnie za łeb jeńca etc. A może że jest to tylko uszkodzony stempel. Sam taki "przesiew", wyłowienie z tysięcy monet okazów nietypowych, byłby już niesamowitą pomocą.

A tego "nowego Rembrandta" to Pan pewno już widział.

Lech Stępniewski
NOT IN RIC
Poland

Offline DzikiZdeb

  • Caesar
  • ****
  • Posts: 1975
Re: Już 5901 odmian czyli kolejna setka i kilka refleksji
« Reply #318 on: June 21, 2022, 02:04:05 am »
nie wymagamy od AI, by zaraz koniecznie wykonywała automatyczny opis monety, tj. tu idzie Mars, trzyma to czy tamto etc. Wystarczy, że zauważy, że ta "forma" na 100 monetach jest podobna, a na jednej jakaś inna i tę inność już potem człowiek opisze - że np. Mars idzie w drugą stronę, nie ma tarczy, ciągnie za łeb jeńca etc.
Mimo wszystko wymaga to od maszyny pewnego zrozumienia "co widzi". Trochę jakbyśmy mieli do czynienia z bardzo szybko działającym czteroletnim dzieckiem. Coś tam zmałpuje, znajdzie różnice w szczegółach różniących dwa obrazki, ale czasem przegapi coś naprawdę ważnego.

Z moich zdjęć teatru w Segeście zrobiłem sobie dwa Van Goghi (na dole) - pierwszy wyszedł naprawdę ładnie i chwilę trzeba się zastanowić czy to nie oryginał, drugi, nakarmiony tym samym wzorcem - już średnio. Światła i cienie już nie rozkładają się tak naturalnie, a kawałek nieba jest zupełnie nie ruszony. Trochę bawiłem się tym narzędziem i z mojego doświadczenia rezultat w dużej mierze zależy od przypadku. Coś tam kapryśnej maszynie zasmakuje, coś nie, raz wyjdzie naprawdę ładnie mimo że dane wejściowe będą "takie sobie", czasem wydawało by się że dane wejściowe są bardzo dobrej jakości, a wynik byle jaki.

A tego "nowego Rembrandta" to Pan pewno już widział.
A nie widziałem. Naśladowanie faktury obrazu, ogólnego stylu malowania idzie dobrze i za darmo w googlowym Deepdream (bo tak się nazywa owo narzędzie o którym mówiłem poprzednio); mechaniczne nakładanie farb też jestem w stanie sobie wyobrazić. Pytanie, kto odpowiada za treść obrazu - samo AI wykoncypowało tego delikwenta, czy dostało gotowe zdjęcie i tylko przerobiło go na modłę Rembrandta?

Offline Lech Stępniewski

  • IMPERATOR
  • Caesar
  • *****
  • Posts: 2900
    • NOT IN RIC
Re: Już 5901 odmian czyli kolejna setka i kilka refleksji
« Reply #319 on: June 21, 2022, 06:15:23 am »
Mimo wszystko wymaga to od maszyny pewnego zrozumienia "co widzi".

Nie sądzę. Wystarczy dobry dobór danych do nakarmienia i odpowiednie korygowanie ("uczenie"). Nawet banalny OCR może Pan "nauczyć" literek dla nietypowej czcionki. Na początku jest trochę pracy, a potem już leci...

Z moich zdjęć teatru w Segeście zrobiłem sobie dwa Van Goghi

Cały czas będę się upierał, że zadanie "przerób DOWOLNE zdjęcie na Van Gogha" to znacznie wyższa szkoła jazdy (klucz w słowie DOWOLNE) niż nasze małe ustandaryzowane przedmiociki. Niektóre takie zdjęcia z pewnością wyjdą kiepsko. Zresztą prawdziwy Van Gogh też nie malował jak leci, tylko sobie "kadrował" rzeczywistość pod swój styl. Jakby mu "pstryknąć" kawałek rzeczywistości tak, jak się pstryka zdjęcie i kazać namalować, też mogłoby mu wyjść tak sobie.

Pytanie, kto odpowiada za treść obrazu - samo AI wykoncypowało tego delikwenta, czy dostało gotowe zdjęcie i tylko przerobiło go na modłę Rembrandta?

Podobno wykoncypowało samo AI nakarmione Rembrandtami. Ale może to tylko chwyt marketingowy. Tu pojawia się kolejny problem: że najprawdopodobniej pewne dość banalne osiągnięcia Ai bywają marketingowo rozdymane, a z kolei inne, niebanalne, bywają utajniane, bo na przykład rozpoznawanie w czasie rzeczywistym zmian na obrazie terennu (czyli np. ruchów wojsk) to łakoma sprawa dla sektora militarnego. To samo z osiągnięciami łakomymi dla sektora policyjnego.

A tak wracając do tematu. Mnie zadowoliłaby na początek nawet bardzo niedoskonała AI, taki OCR, który potrafi oddzielić teksty napisane inną czcionką niż Times i Arial. Czyli coś co ze zdjęć tysięcy monet potrafiłoby odrzucić te najbanalniejsze. Moja wydajność wzrosłaby dzięki temu parokrotnie. Coś tam może by i przepadło, ale czy moje oczy zmęczone kilkuset zdjęciami są lepsze?
Lech Stępniewski
NOT IN RIC
Poland

Offline DzikiZdeb

  • Caesar
  • ****
  • Posts: 1975
Re: Już 5901 odmian czyli kolejna setka i kilka refleksji
« Reply #320 on: June 22, 2022, 02:52:48 am »
Mimo wszystko wymaga to od maszyny pewnego zrozumienia "co widzi".

Nie sądzę. Wystarczy dobry dobór danych do nakarmienia i odpowiednie korygowanie ("uczenie"). Nawet banalny OCR może Pan "nauczyć" literek dla nietypowej czcionki. Na początku jest trochę pracy, a potem już leci...

Niby tak, a z drugiej strony wystarczy kartka zeskanowana pod kątem albo trochę paprochów z kserowania, żeby zaczął się mylić. A w przypadku monet to są jednak ręcznie dłubane litery i skrótowce - rozumienie OCR polega w dużej mierze na porównywaniu ze słownikiem wzorcowym, a tutaj właśnie by się przydało, żeby na siłę nie dopasowywał tekstu do zapodanych wzorców, bo może w ten sposób pominąć interesujący wyjątek.


Z moich zdjęć teatru w Segeście zrobiłem sobie dwa Van Goghi

Cały czas będę się upierał, że zadanie "przerób DOWOLNE zdjęcie na Van Gogha" to znacznie wyższa szkoła jazdy (klucz w słowie DOWOLNE) niż nasze małe ustandaryzowane przedmiociki. Niektóre takie zdjęcia z pewnością wyjdą kiepsko.

To są chyba dwie różne kwestie - rozpoznawanie/przetwarzanie koloru i kształtu. Kolor jest dla maszyny w pełni zrozumiały, każdy piksel ma konkretne parametry składowe RGB, można matematycznie badać ilość pikseli z takim a nie innym zakresem danej składowej, próbować liczyć zależności itp. A kształt (czyli w tym wypadku elementy rysunku monety) wymagają rozpoznania, z czym mamy do czynienia - paproch, litera czy nierówna patyna? Jak się nauczy taką sieć, że grabki to coś stojącego pionowo z trzema zębami u góry, to niekoniecznie je rozpozna po odwróceniu o 180 stopni, albo po dodaniu dwóch zębów. A znowu jak się go nakarmi wszystkimi możliwymi typami grabek, to zacznie je widzieć zamiast innych przedmiotów. Kiedyś pod adresem google.com/imghp można było szukać obrazka według wgranego wzorca (nie wiem, czemu teraz nie działa, pewnie znów coś ulepszyli). Przy malarstwie radził sobie świetnie - po wgraniu malutkiego pliku np. 300x300 pikseli błyskawicznie odnajdował mnóstwo innych skanów tego samego obrazu, w tym te o znacznie większej rozdzielczości. Natomiast przy monetach gubił się od razu. Wgranie jakiejś banalnej współczesnej monety typu 1 zł PRL powodowało wyświetlenie obrazków z monetami praktycznie nie mającymi nic wspólnego ze wzorcem - ot, żeby było okrągłe i zbliżone kolorem do aluminium.

Zresztą ten Van Gogh to taki przykład in plus dla możliwości AI - jego styl okazał się wyjątkowo wdzięczny dla takiego przetwarzania, najwidoczniej wystarczy porozmywać zadany obrazek w określony sposób i już widzimy to jako "Van Gogha". W przypadku jakiegoś malarstwa realistycznego cudów nie zrobi - jeśli zadam mu zdjęcie i każę zrobić z tego Siemieradzkiego, to raczej ograniczy się tylko do wzięcia z wzorca kolorystyki.


Pytanie, kto odpowiada za treść obrazu - samo AI wykoncypowało tego delikwenta, czy dostało gotowe zdjęcie i tylko przerobiło go na modłę Rembrandta?

Podobno wykoncypowało samo AI nakarmione Rembrandtami. Ale może to tylko chwyt marketingowy. Tu pojawia się kolejny problem: że najprawdopodobniej pewne dość banalne osiągnięcia Ai bywają marketingowo rozdymane, a z kolei inne, niebanalne, bywają utajniane, bo na przykład rozpoznawanie w czasie rzeczywistym zmian na obrazie terennu (czyli np. ruchów wojsk) to łakoma sprawa dla sektora militarnego. To samo z osiągnięciami łakomymi dla sektora policyjnego.

Chyba, że nakarmili go osobno samymi twarzami i wyciągnął z tego jakąś średnią, niepodobną do nikogo - w to jestem w stanie uwierzyć.

Co do faktycznego stanu zaawansowania ciekawszych systemów, to może mieć Pan rację. Moje marudzenie jest oparte na tym, do czego mam dostęp. Pytanie, ile może potrwać udostępnienie takiej tajności do badania monet? I jak się to sprawdzi? - bo główna zasada raczej pozostanie ta sama - przeliczanie potężnych macierzy liczbowych opartych na wartościach RGB mas pikseli i ciężkie do przeprowadzenia uczenie konkretnych kształtów.

Offline Lech Stępniewski

  • IMPERATOR
  • Caesar
  • *****
  • Posts: 2900
    • NOT IN RIC
Re: Już 5901 odmian czyli kolejna setka i kilka refleksji
« Reply #321 on: June 22, 2022, 08:26:26 am »
a tutaj właśnie by się przydało, żeby na siłę nie dopasowywał tekstu do zapodanych wzorców, bo może w ten sposób pominąć interesujący wyjątek.

Można rozumować odwrotnie. Właśnie niech odsieje to, co pasuje do podanych wzorców, czyli całą chmarę banalnych typów, które na jakimś tam eBayu to > 90%, a człowiek potem przyjrzy się tej nietypowej reszcie. Osobiście chciałbym mieć takie sitko do odsiewania, bo naturalnie sam odsiewam okiem, ale w tej mechanicznej robocie na pewno jestem bez porównania gorszy niż nawet prymitywna AI. To jednak ja więcej przepuszczę monet nie pasujących do wzorca (który mam tylko w mojej zawodnej pamięci). No i męczę się dość szybko.

Natomiast przy monetach gubił się od razu. Wgranie jakiejś banalnej współczesnej monety typu 1 zł PRL powodowało wyświetlenie obrazków z monetami praktycznie nie mającymi nic wspólnego ze wzorcem - ot, żeby było okrągłe i zbliżone kolorem do aluminium.

Jak już wspomniałem, mam całkiem pozytywne doświadczenia z bardzo prostymi, nieledwie amatorskimi programikami przeznaczonymi do wyszukiwania zduplikowanych zdjęć na dysku. Owszem, bywa na domyślnych ustawieniach trcohę nadmiarowości, ale po dobrym wyregulowaniu parametrów miałem już kilka takich sytuacji, gdy program uznał, że dwa dość różne zdjęcia są zdjęciami tej samej monety - i była to prawda na tyle niebanalna, że sam tego nie mogłem poznać na pierwszy, a nawet drugi rzut oka. Ale po dokladniejszym zbadaniu okazywało się, że to program miał rację. Czyli coś tam mu się dopasowało: kształt krążka?, jakiś (dla niego) znak szczególny?, układ takich znaków? Tego naturalnie nie wiem, ale grunt, że zadziałało.

i ciężkie do przeprowadzenia uczenie konkretnych kształtów.

Znowu się powtórzę, ale wydaje mi się, że akurat monety są tu stosunkowo wdzięcznym obiektem, bo są niewielkie i w większości wypadków przecież obmyślano je tak, by dla człowieka były rozpoznawalne natychmiast, czyli jakoś "wyraziste". Poza tym - co ważne! - już na wstępie karmimy AI wyłącznie zdjęciami monet, czyli nie jest to zadanie "wyłów, co jest ciekawą monetą z milionów okrągłych obiektów na dowolnych zdjęciach". Tym samym AI nie będzie nam potem podtykała w charakterze nowego znaleziska okrągłego krakersa, wedlowskiej delicji, alufelgi, tarcz zegarkowych, zużytych kólek zębatych etc.
Lech Stępniewski
NOT IN RIC
Poland

Offline DzikiZdeb

  • Caesar
  • ****
  • Posts: 1975
Re: Już 5901 odmian czyli kolejna setka i kilka refleksji
« Reply #322 on: June 23, 2022, 02:22:01 am »
a tutaj właśnie by się przydało, żeby na siłę nie dopasowywał tekstu do zapodanych wzorców, bo może w ten sposób pominąć interesujący wyjątek.

Można rozumować odwrotnie. Właśnie niech odsieje to, co pasuje do podanych wzorców, czyli całą chmarę banalnych typów, które na jakimś tam eBayu to > 90%, a człowiek potem przyjrzy się tej nietypowej reszcie. Osobiście chciałbym mieć takie sitko do odsiewania, bo naturalnie sam odsiewam okiem, ale w tej mechanicznej robocie na pewno jestem bez porównania gorszy niż nawet prymitywna AI.

Tylko, czy AI zechce tak rozumować? Tj. owszem, odsieje to, co uważa za zgodne z wzorcami, ale czy przypadkiem nie pominie tam jakiś perełek, których unikalnych cech po prostu nie zrozumie?

Natomiast przy monetach gubił się od razu. Wgranie jakiejś banalnej współczesnej monety typu 1 zł PRL powodowało wyświetlenie obrazków z monetami praktycznie nie mającymi nic wspólnego ze wzorcem - ot, żeby było okrągłe i zbliżone kolorem do aluminium.

Jak już wspomniałem, mam całkiem pozytywne doświadczenia z bardzo prostymi, nieledwie amatorskimi programikami przeznaczonymi do wyszukiwania zduplikowanych zdjęć na dysku. Owszem, bywa na domyślnych ustawieniach trcohę nadmiarowości, ale po dobrym wyregulowaniu parametrów miałem już kilka takich sytuacji, gdy program uznał, że dwa dość różne zdjęcia są zdjęciami tej samej monety

Pytanie, co właściwie rozumiemy przez AI. Dla mnie są to systemy, które w założeniu mają osiągnąć jakiś tam stopień samodzielności w podejmowaniu decyzji, sprawiać wrażenie choćby szczątkowego myślenia. Proste programiki do porównywania obrazów jak dla mnie do tej klasy nie należą i może dlatego działają w przewidywalny sposób - tam zamiast sieci neuronowych są mechaniczne porównania dwóch obrazów za pomocą mniej lub bardziej skomplikowanych przekształceń matematycznych. Zgadzam się, że da się je rozbudować i że mogą być bardzo przydatne, ale właśnie w kierunku odsiewania monet istniejących już w bazie. Klasyfikacji według mennic czy znalezienia nienotowanej oficyny danej emisji się z nich nie wyciśnie.

Offline Lech Stępniewski

  • IMPERATOR
  • Caesar
  • *****
  • Posts: 2900
    • NOT IN RIC
Re: Już 5901 odmian czyli kolejna setka i kilka refleksji
« Reply #323 on: June 23, 2022, 07:51:53 am »
ale czy przypadkiem nie pominie tam jakiś perełek, których unikalnych cech po prostu nie zrozumie?

Chyba nie bardziej niż moje zmęczone oczy (bo żeby włączyla się głowa ze zrozumieniem, najpierw one muszą zadziałać)

Klasyfikacji według mennic czy znalezienia nienotowanej oficyny danej emisji się z nich nie wyciśnie.

A dlaczego nie? To akurat są literki, gdzie stosunkowo łatwo podać wzorzec, więc i odstępstwa od wzorca łatwo wyszukać. Gorzej z wizerunkami, gdzie rytownik mógł zawsze trochę poszaleć według swojego gustu, a "gust rytownika" jako pomijalną cechę zakodować trudno.

Przypominam cel zasadniczy: stworzenie bazy wszystkich stempli. Ustalenie, że dwie monety pochodzą z tych samych stempli wydaje mi się zadaniem prostym i wprost wymarzonym dla AI. Oczywiście na początku proces korekt i poprawek pewnie będzie konieczny, ale w miarę przybywania nowych danych coraz więcej tych korekt będzie dokonywała "sama AI" bez udziału człowieka.

Potem wystarczy maszynie powiedzieć, że wedle naszej konwencji stemple nr 1134-1181 to jest RIC 301 i już monety z tych stempli będzie mogła "identyfikować" jakby znała RIC.

Niech Pan teraz pogrymasi i powie, co może źle pójść.
Lech Stępniewski
NOT IN RIC
Poland

Offline DzikiZdeb

  • Caesar
  • ****
  • Posts: 1975
Re: Już 5901 odmian czyli kolejna setka i kilka refleksji
« Reply #324 on: June 24, 2022, 03:10:02 am »
Przypominam cel zasadniczy: stworzenie bazy wszystkich stempli. Ustalenie, że dwie monety pochodzą z tych samych stempli wydaje mi się zadaniem prostym i wprost wymarzonym dla AI. Oczywiście na początku proces korekt i poprawek pewnie będzie konieczny, ale w miarę przybywania nowych danych coraz więcej tych korekt będzie dokonywała "sama AI" bez udziału człowieka.

Bazę stempli jak najbardziej jestem w stanie sobie wyobrazić, gorzej z połączeniem stempli jednej emisji w całość. Jeśli nie powiemy odgórnie, że

wedle naszej konwencji stemple nr 1134-1181 to jest RIC 301

to jest duża szansa, że będzie grupować różne pozycje, a nie zgrupuje stempli spod tego samego numerka RIC. Innymi słowy - jeśli założymy, że mamy już opisaną numerami RIC bazę stempli, a automat wyszukuje tylko ich kolejne powtórzenia, to powinno to działać. Nowe/nierozpoznane stemple mogły by być ładowane do worka na boku, który jest potem ręcznie opisywany i trafia do wzorca. Nie nazwał bym przy tym czegoś takiego AI i nie wykryje to jakiś nowych, nieprzewidzianych w momencie projektowania cech monet.

 

All coins are guaranteed for eternity