◎正当な理由による書き込みの削除について:      生島英之とみられる方へ:

文系だがスクレイピングやクローリングを勉強したい


動画、画像抽出 || この掲示板へ 類似スレ 掲示板一覧 人気スレ 動画人気順

このスレへの固定リンク: http://5chb.net/r/prog/1587026105/
ヒント:5chスレのurlに http://xxxx.5chb.net/xxxx のようにbを入れるだけでここでスレ保存、閲覧できます。

1仕様書無しさん2020/04/16(木) 17:35:05.61
そういう学校ある?

2仕様書無しさん2020/04/16(木) 17:35:23.84
ない

3仕様書無しさん2020/04/16(木) 17:38:19.58
こちらへどうぞ

【相談】プログラマーになりたい人のためのスレ 2
http://2chb.net/r/prog/1576503666/

4仕様書無しさん2020/04/16(木) 21:09:58.26
ないよ
むしろ自分でサイト作って動的なフロントシステム作れるレベルじゃないとスクレイピングは無理
SPAならそもそもページないし

5仕様書無しさん2020/04/16(木) 21:11:58.76
法律すれすれだしな
業務としてやると

6仕様書無しさん2020/04/16(木) 21:52:33.04
>>4
自分でそれ系統のサイト運営してるが。

7仕様書無しさん2020/04/16(木) 22:24:02.68
>>6
どこまでコーディングできるの?
ajaxは当然でSPAフレームワーク使ってShadowDOMも生成してんの?

8仕様書無しさん2020/04/16(木) 22:33:17.04
今ちょうどHTML5パーサー書いてるけど。

9仕様書無しさん2020/04/17(金) 00:55:53.29
スクレイピング容赦せん!

10仕様書無しさん2020/04/20(月) 14:58:58.04
スクレイピングもあまり定番の方法ないしな
そもそもどういう出力がしたいのかも異なる
テーブルとってくる程度ならエクセルで十分だし
ログイン込みでやるなら面倒だったりするし
ブラウザ制御でやるのかHTTPで会話するのか・・・

11仕様書無しさん2020/04/21(火) 03:04:06.80
低偏差値で学歴コンプの奴は
全盛期の自分はクラス(大体小学校w)で10%以上の成績だった→本気出せばMARCH余裕だった→環境良ければ早慶余裕、MARCH以下は雑魚みたいな理論で自分を慰めてる

12仕様書無しさん2020/04/21(火) 03:12:30.36
数ヶ月前に立教を蹴って専門に行ったというスレをスクレイピングで見つけた
進学校によくあるパターンで国立がダメなら専門にでも行ってやるという友人を思い出した
彼は今、派遣のオペレーターだ
俗に言う子供部屋おじさんで自称発達障害なのだが、医者では否定されたらしく、ただの低IQ無能だったらしい
彼は元々小学校の算数は公文で出来たのだが所詮はパターン学習に過ぎないため、論理的思考力に欠けていて中学3年くらいで落ちこぼれた

この前自分のおごりで寿司食わせてやったよ
高校時代を思い出すと泣けてくる
自民党批判を盛んにしていたが笑って流した。
昔のよしみもあって、彼には幸せになって欲しいのだが、いつになったら実は自分に非があると理解するのだろうか

13仕様書無しさん2020/04/21(火) 14:59:49.75
>>7
> ajaxは当然でSPAフレームワーク使ってShadowDOMも生成してんの?

Webプログラマの特徴なんだけど、
そういう幼稚なママゴトを
さもすごいことのように自慢するわけだ。

はっきり言うが、Web屋はプログラマじゃないから。
ただのコーダー

14仕様書無しさん2020/04/22(水) 14:55:23.28
>>13
普通に要件定義や設計、バックエンド開発DB開発もすべてやるがな
フロントクソなゴミJavaパーより生産性は圧倒的に上

15仕様書無しさん2020/04/23(木) 16:18:33.99
>>14
それはWeb屋じゃなくて普通に業務系じゃないの?

16仕様書無しさん2020/04/23(木) 16:32:07.59
Webは場合によってすごく苦労するのよ

客が出来上がったものを見て
デザインから根本的にやり直せ!とか、
もう殺したくなる!

17仕様書無しさん2020/04/23(木) 16:38:34.72
>>16
普通モック見せながら進めるからそこまで酷い事は起きた事ないけどな
コンセンサスとるのに苦労するのはあるよね

18仕様書無しさん2020/04/23(木) 18:28:51.78
担当者間では問題なくても上長が却下してくることはあるんじゃない?

19仕様書無しさん2020/04/23(木) 19:34:44.08
開発プロセスにもよるけどデザインに対する修正要望の締切決めて
それ以降は大きい修正受けないようにするでしょ
ちゃんと変更増分の費用くれるなら付き合うけどな

20仕様書無しさん2020/04/23(木) 21:31:59.34
>>15
もはや業務系もWebに変わりないじゃん
ちなみに今開発中の業務アプリはスマホアプリやWebサイト、LPとかとも連動させる奴
営業、接客、広告、経理、人事労務とかもろもろ全てWebで管理する壮大なシステムを俺がほぼ一人で開発してる
といってもあと数人バックエンドしかできない連中もいるけど

21仕様書無しさん2020/04/24(金) 07:29:57.65
https://teratail.com/questions/256001

SEやってるのにそんなことも考えられないのかってのと
完全フロントエンジニアになるなら収入落ちるのになんでやってのと

22仕様書無しさん2020/04/24(金) 17:18:45.34
フロントエンドやるならデザインもやれよ
ていうかバックエンドなんかapi出して後は知らんぷりなんだからどんどんバックエンドは仕事減るから安月給でいいよ

23仕様書無しさん2020/04/27(月) 01:37:09.57
>>16
月額固定で金とれる体制までもっていければ気が楽になるぞ
見積もり無料の段階でやり直し連発はどこの段階で金とるか考えてだんだんハイテンションに

24仕様書無しさん2020/04/27(月) 02:45:21.71
動的ページでスクリプトをこっちで展開してスクレイピングするとか
さらにレベルが高いぞ

25仕様書無しさん2020/04/27(月) 09:00:58.36
ブラウザの自動運転したほうが楽だよね
なんならマウスのマクロで遷移させて取得とか

26仕様書無しさん2020/05/03(日) 10:02:24.71
>>23
> どこの段階で金とるか考えてだんだんハイテンションに

ああ、あれは麻薬だよね
だんだんと深みにはまってゆく
いくらプレゼン繰り返しても発注も金額も出てこないとき、
ウルトラハイになれる!

たらら~♪とか歌いだしてしまう

27仕様書無しさん2020/05/03(日) 21:06:23.29
スクレイピングの外部サービスが存在しないのは訴訟リスクがあるからだろうな

需要があることは解ってるから、代わりにノンプロミングで出来て客の自己責任なRPAを売り込む

28仕様書無しさん2020/05/03(日) 22:20:17.49
CAPTCHA対策知ってる?

29仕様書無しさん2020/05/03(日) 22:39:35.61
>>27
普通にたくさんいくらでもあるんだけど

30仕様書無しさん2020/05/05(火) 06:06:03.67
わいもスクレイピング学びたい。
Amazonからセール品だけスクレイピングでまとめるサービスとか作りたい。(電子書籍の司書さんみたいな)
詳しい人いたら法律的にどうなのかとか、勉強手順とか教えてくれそ。

31仕様書無しさん2020/05/05(火) 06:27:43.25
>>30
Amazonはスクレイピング禁止している

32仕様書無しさん2020/05/05(火) 09:27:00.25
素人がスクレイピングしたいならUWSCの有料版じゃないかな
あと、Amazon等で色々したいならまずはAPIを先にやろう
楽天やヤフーもそうだけど大手モールはだいたいAPI用意してる

33仕様書無しさん2020/05/05(火) 10:46:52.14
スクレイピング禁止します
検索用の有料APIあるから使ってね

つまり無料のスクレイピングはダメだと言うだけだろ
業者からしたら一円の金にもならんのにサーバー負荷だけ背負わされるわけだしな

34仕様書無しさん2020/05/05(火) 11:12:44.09
amazonはスクレイピングしないとライバルに勝てないぞ
apiは情報が古かったりする

35仕様書無しさん2020/05/05(火) 11:54:54.52
Amazonとかは規約で禁止してたでしょ

36仕様書無しさん2020/05/05(火) 12:04:57.96
Amazonはアカウントと紐づけてスクレイピングしたらバンされるぞ
何年か前にそれが流行った

37仕様書無しさん2020/05/05(火) 12:04:59.69
AmazonとかTwitterなんかの規約で禁止してるとこはスクレイピングしてるとアクセス元IP閉じちゃう
関係ない人らもアクセスできなくなる可能性高くて周りが迷惑する事になる(グローバルアクセスは固定IP契約してないと同一IPを皆で共用しているので)

38仕様書無しさん2020/05/05(火) 12:08:58.07
ライバル?
転売屋さん?
ネットヤクザの自覚ある?
社会のゴミ

39仕様書無しさん2020/05/05(火) 14:26:20.76
api提供されてんだから使えば良いだけ
情報古いとか言ってる人は英語読めないんだろ
英語のドキュメントは最新だからな


lud20200803161855
このスレへの固定リンク: http://5chb.net/r/prog/1587026105/
ヒント:5chスレのurlに http://xxxx.5chb.net/xxxx のようにbを入れるだけでここでスレ保存、閲覧できます。

TOPへ TOPへ  

このエントリをはてなブックマークに追加現在登録者数177 ブックマークへ


全掲示板一覧 この掲示板へ 人気スレ | Youtube 動画 >50 >100 >200 >300 >500 >1000枚 新着画像

 ↓「文系だがスクレイピングやクローリングを勉強したい 」を見た人も見ています:
クローリング[バーグMOA2モーター]
【エボトラで】XMODS【クローリング?】 4代目
プログラミング勉強したいんだけどまずhtmlやればいいの?
Excelやプログラミング勉強したいんだけどどこでするのがいい?
長谷川穂積「最低限のボクシング勉強しましょう」
起業したくてプログラミング勉強してこれ作った
無職だけど人生逆転しようと思う。プログラミング勉強してアプリで一発当てればいいんだろ?
フルハウスで英語のリスニング勉強してるけど、洋画のボキャブラリーに付いてくのは難しいですな
プログラミング勉強し始めたがこれ論理的思考がデフォルトだったり数学くっそできなきゃ無理じゃね?
スクレイピングしちゃいけないサイトってどこで見分けるの?
スクレイピングってどのツールを使えば良いんだ?たくさんありすぎて分からんぽよ
【2ch】2ちゃんねるがdatを近日廃止、ウェブスクレイピング禁止2015年3月3日以降はAPI経由の許諾制★6
【2ch】2ちゃんねるがdatを近日廃止、ウェブスクレイピング禁止2015年3月3日以降はAPI経由の許諾制★9
【2ch】2ちゃんねるがdatを近日廃止、ウェブスクレイピング禁止2015年3月3日以降はAPI経由の許諾制★5
文系は歴史とかめちゃ勉強しても営業になる [無断転載禁止]
ワタク文系志望でこの時期から勉強してる奴www
私立文系が科目数で叩かれやすいのはハナっから数学捨てて勉強してるからやで
文系って、ググれば出てくる歴史をなんでわざわざ勉強してるの?wwwww [無断転載禁止]
冗談抜きに「文系=小説のお勉強してる」と思ってる奴が相当数居てビビるよな。この国いかれてんだろ
大手塾「サボローみたいな負け組になりたくないなら、勉強しろ」
サーバー使ったプログラミングの勉強したいからお題だしてください
高速でキャンピングカーがコロリンして一家がほぼ全滅 セダンやクーペ以外で高速道路は自殺と同じ
【話題】新幹線の「タイピング音」はマナー違反なのか 「カタカタうるさい」「クレーム入れたい」反対派の主張★2 [ひぃぃ★]
プログラミングってどうやって勉強したの?
高2理系だけど今から勉強して神戸大いける?
プログラマー「最強のプログラミング勉強法は写経」
朝起きたらフローリングの床がベトベトンなんよ…😨
「おとなのドリル」発売。クレカの仕組みやクーリングオフや葬式の上げ方を解説
キリングバイツ、東島丹三郎は仮面ライダーになりたい などヒーローズコミックス9月新刊
アメリカの大学生「シャキっと勉強してしっかり眠れるのはコカインだけ」 背景には奨学金(学生ローン)による多額の借金返済
慶應レイプ魔はDQN文系だよな [無断転載禁止]
野村と北瀬の馬鹿は、どうぶつの森をプレイしてゲーム作りの勉強した方がいいんじゃないの?
私立文系マン試験までの勉強
文系で真面目に勉強する意味あるのか??
数3と物理を独学で勉強したいです
日本語勉強したい外人と仲良くなるには
メンヘラだけど資格の勉強したい
【大学】30から物理を勉強したい【入学】
原本読むためにドイツ語勉強したいんだけど
シャロちゃんといっしょにお勉強したい
大学でやる内容を独学で勉強したい [無断転載禁止]
勉強しながら聞きたいラジオ!!!!
洋楽で英語勉強したいんだけど [無断転載禁止]
原発について勉強したいからおすすめの本教えて
競馬を勉強したいんだけど何から覚えていいかわからない
kotlin勉強してandroidアプリ作りたいんだけど
的中率が高めで、儲かる馬券を勉強したい。Part 1.1
UnityC#勉強してMMO作たいけどどうする!?5(^^
某コテの馬券を参考にして、儲かる馬券を勉強したい。Part.1
ハロプロ初心者なんだけどハロオタ彼女のために勉強したい
英検1級受かりたいんだけど、どんな勉強したらいい? [無断転載禁止]
哲学の勉強したいので勉強の仕方を教えてください [無断転載禁止]
不登校の高校生だけど、勉強していい大学に受かりたい [無断転載禁止]
学びたい学問や将来就きたい職業はなく学歴のためだけに勉強してるやつ
マウント取りたいから一から勉強して東大目指そ←こいつがいない理由
そろそろまじめに主体思想(チュチェ思想)を勉強したい どこで教えてもらえるんだ?
知識のなさを馬鹿にされたくないから勉強したいんだけどどの雑誌読めばいい? [無断転載禁止]
頭がショートしてフラフラなんだがあと3時間勉強したい。 [無断転載禁止]
あの浜浦が尾形みたいに楽屋でも宿でも勉強して大学入学狙ってるのに誰も非難しない件
英会話勉強したいんだが嫌儲とアナルAVの話題しか話せない 俺の英語勉強詰んだ 誰か助けて
鋳物工場の社長 見学者の親に「ちゃんと勉強しないとあのおじさんみたいになるわよ」と言われる
【嫌儲将棋部】 1年をメドに、女流棋士と2枚落ちで対戦したいのだが、どう勉強したら良い?
【嫌儲勉強部】バイデン勝ったし将来を見越して中国語を勉強したい。シナモメンよコツを教えてくれ
本田翼「人生やり直せるなら勉強して大学に入りたい。」 ← こんな美人の成功者でも学歴コンプ [無断転載禁止]
天文物理学っていいよね。勉強してると心が現れるようだ。宇宙飛行士になりたいわけじゃないけど。 [無断転載禁止]©2ch.net

人気検索: アウロリ 繝ュ繝ェ繝シ繧ソ 繝峨Λ縺医b繧? 繝√い繧ャ繝シ繝ォ逋ス繧「繝ウ繧ケ繧ウ アウあうロリ ショタ 画像 ジュニアカタログ 洋ロリ画像 昔のロリ女子小学生マン 11 Young nude girl? porn
08:25:39 up 127 days, 9:24, 0 users, load average: 14.85, 30.46, 48.18

in 0.024707794189453 sec @0.024707794189453@0b7 on 082221